开始使用
- 先定任务集:从你真正需要的工作中选样例,例如摘要、查错、代码修改或图片理解,不用单道趣味题代表全部能力。
- 写验收标准:先说明什么算正确、哪些错误不能接受、是否允许工具或联网,再开始测试,避免看完结果才改规则。
- 固定输入:给各模型相同素材、提示和输出约束。测试联网能力与不联网能力时分组记录,不混成一张总榜。
- 记录环境:使用日期、产品入口、可见模型或版本、推理设置、工具权限;本地测试还要记录硬件、量化和上下文。
- 重复执行:不要只保留最好的一次。记录失败、重试和人工修正,说明结果是单次样例还是多次观察。
- 分项评价:正确性、指令遵循、可核验性、等待时间和人工修改成本分开写;不要把主观印象包装成精确分数。
- 保留证据:保存脱敏输入、原始输出、截图或日志。没有测量工具就不要声称准确的吞吐、显存峰值或成本。
- 给有边界的结论:写清“在什么任务和条件下更适合”,列出失败案例与未覆盖场景,方便你以后用同一套材料重测。
