本地部署

本地模型下载:看懂参数、量化与文件

下载前核对发布方、模型版本、GGUF 文件和运行条件,避免下错文件或把显存估算当成实测。

GGUF量化显存模型下载
资料核验:2026-10-24

开始使用

  1. 分清系列和版本:Qwen、Gemma、Llama 是系列,具体版本还包含代际、参数规模、用途和量化;不要只看名称相近就视为同一模型。
  2. 先看模型卡:确认发布者、上游来源、许可、用途和运行说明。社区微调或消融模型也要保留来源,不把“破甲”标签当成效果或安全保证。
  3. 再选运行工具:图形界面可查看 LM Studio;命令行工作流可查看 Ollama 或 llama.cpp。先核对工具对该架构和格式的支持。
  4. 确认文件格式:GGUF 是文件格式,不是模型名称,也不等于某一种量化;同一仓库可能提供多个不同精度的文件。
  5. 核对量化名称:Q4_K_M、Q8_0 等必须与实际文件一致。不能把仓库里不存在的量化当成可下载版本。
  6. 留足运行空间:磁盘文件大小不等于总内存占用,系统、运行时和上下文缓存都要留余量;Mac 统一内存与独立显存分开核算。
  7. 首次加载用短上下文:从小模型、短输入和单个任务开始。内存不足先降低上下文或选择更小版本,不盲目照搬最大配置。
  8. 验收后再归档:记录仓库和文件名、量化、运行工具版本、设备、上下文与真实输出;没有跑过的配置只标估算。