开始使用
- 记录设备:独显电脑记录显卡型号、显存、系统内存和可用磁盘;Mac 记录芯片与统一内存,不把两种内存直接相加比较。
- 明确任务:先决定是中文对话、写作、代码辅助还是文档处理,不把“能加载”当成“适合这个任务”。
- 选择工具:想先用图形界面可查看 LM Studio,习惯命令行可查看 Ollama 或 llama.cpp;按官方要求检查系统和硬件支持。
- 选择版本:从下方归档确认发布方、参数规模、量化和文件。首次体验可从较小规模开始,历史版本不代表当前最新。
- 预留余量:模型文件之外还需要系统、运行时和上下文缓存空间;本页配置用于筛选估算,不承诺加载成功或输出速度。
- 完成一次短任务:先用短上下文加载,输入一段可核对的材料,确认能够输出,再逐步加长上下文或增加工具。
- 遇到问题先缩小范围:检查下载是否完整、架构是否支持、上下文与并发是否过大,不把下载失败误判成显存不足。
- 保存运行记录:记录具体文件、工具版本、设备、上下文与结果。只有真实测量过的速度和内存才能写成实测。
