本地部署

本地模型,先看设备再选版本

从显存、统一内存、量化与上下文长度入手,找到合适的下载和部署路径。

硬件选型本地部署版本归档
资料核验:2026-10-24

开始使用

  1. 记录设备:独显电脑记录显卡型号、显存、系统内存和可用磁盘;Mac 记录芯片与统一内存,不把两种内存直接相加比较。
  2. 明确任务:先决定是中文对话、写作、代码辅助还是文档处理,不把“能加载”当成“适合这个任务”。
  3. 选择工具:想先用图形界面可查看 LM Studio,习惯命令行可查看 Ollama 或 llama.cpp;按官方要求检查系统和硬件支持。
  4. 选择版本:从下方归档确认发布方、参数规模、量化和文件。首次体验可从较小规模开始,历史版本不代表当前最新。
  5. 预留余量:模型文件之外还需要系统、运行时和上下文缓存空间;本页配置用于筛选估算,不承诺加载成功或输出速度。
  6. 完成一次短任务:先用短上下文加载,输入一段可核对的材料,确认能够输出,再逐步加长上下文或增加工具。
  7. 遇到问题先缩小范围:检查下载是否完整、架构是否支持、上下文与并发是否过大,不把下载失败误判成显存不足。
  8. 保存运行记录:记录具体文件、工具版本、设备、上下文与结果。只有真实测量过的速度和内存才能写成实测。