开始使用
- 分清系列和版本:Qwen、Gemma、Llama 是系列,具体版本还包含代际、参数规模、用途和量化;不要只看名称相近就视为同一模型。
- 先看模型卡:确认发布者、上游来源、许可、用途和运行说明。社区微调或消融模型也要保留来源,不把“破甲”标签当成效果或安全保证。
- 再选运行工具:图形界面可查看 LM Studio;命令行工作流可查看 Ollama 或 llama.cpp。先核对工具对该架构和格式的支持。
- 确认文件格式:GGUF 是文件格式,不是模型名称,也不等于某一种量化;同一仓库可能提供多个不同精度的文件。
- 核对量化名称:Q4_K_M、Q8_0 等必须与实际文件一致。不能把仓库里不存在的量化当成可下载版本。
- 留足运行空间:磁盘文件大小不等于总内存占用,系统、运行时和上下文缓存都要留余量;Mac 统一内存与独立显存分开核算。
- 首次加载用短上下文:从小模型、短输入和单个任务开始。内存不足先降低上下文或选择更小版本,不盲目照搬最大配置。
- 验收后再归档:记录仓库和文件名、量化、运行工具版本、设备、上下文与真实输出;没有跑过的配置只标估算。
