同一份材料问三次,三个答案都对:怎么评估
说不清哪个回答更好,是因为缺一份可复现的记录。本文给五步排查流程、一张 12 字段的运行记录表,以及判不出稳定阈值时的兜底做法。

结论先行
把同一段材料贴进对话框,同一个问题问三次。三个结果都不算错:结构都稳,措辞不同,重点、举例、数字的详略不一样。
想说清「哪个更好」,只能凭印象。
真正缺的是那份能复现、能对比、能说清「这次改进了什么」的记录。本文练习材料为虚构内容(项目「青禾」的客户访谈纪要)。
一、飘的是模型,还是飘的是别的
排查之前先把「飘」拆开来看,四种情况处理方式完全不同。
| 你看到的现象 | 更可能属于 | 怎么区分 |
|---|---|---|
| 同一段提问连发三次,骨架相同、措辞不同 | 模型侧的采样波动 | 官方文档写明 Chat Completions 默认非确定性;固定 seed、锁死其他参数,输出可做到「大体一致」 |
| 换个账号、套餐或设备,结果明显不同 | 环境侧变了 | 记录入口、账号类型、模型版本、联网与记忆开关 |
| 三次其实贴的不是同一份东西 | 输入侧变了 | 贴原文、留副本,不凭记忆重打 |
| 三次里有两次是对的、第三次跑偏 | 判据缺失 | 事先没写下可检查的验收标准 |
前三类靠记录解决,最后一类靠事先写下的判据。
这不是工具坏了。OpenAI 的评估最佳实践文档第一句就写着,生成式 AI 本身是有变量的,同一份输入可能产出不同输出,传统软件测试方法对这类系统不够用(来源①,核对日期 2026-11-10)。
OpenAI 文档把最后一种列为四种「反模式」之一,叫 vibe-based evals:拿「感觉它还行」当评估策略。
二、逐条排查:五步
- 材料固定成一份文本副本,标版本号。之后所有运行都用这一份。
- 提问固定成一段能原样复制的文字,包括你要求的输出格式。
- 环境固定:入口、账号类型、模型版本、联网开关、记忆开关。
- 先写判据,再看结果。Anthropic 的成功标准有四条要求:具体、可衡量、可达成、相关。它给的安全标准例子是「一万次试验中被内容过滤器标为有害的输出低于 0.1%」,这种话才能判定通过与否(来源②,核对日期 2026-11-10)。
- 同一次至少跑三次,三次全记,不要只留最好看的那次。
能自动判分的部分别靠眼睛。OpenAI 的 graders 文档列出四种判定方式:字符串精确或包含检查、文本相似度(可算 ROUGE、BLEU 等)、用模型打分数或打标签、用 Python 跑自定义检查(来源③,核对日期 2026-11-10)。
Anthropic 给了三个可套用的例子:情感分类用精确匹配跑一千条人工标注;FAQ 一致性用向量相似度跑五十组同义问法;摘要用 ROUGE-L 跑两百篇带参考摘要的文章。
它的成功标准一节还给了量表的写法,比如让标注者把连贯性从 1(毫无逻辑)打到 5(完全合乎逻辑)(来源②,核对日期 2026-11-10)。
它还有一条建议值得记住:宁可要数量多、每题能自动判分的题,也不要数量少、只能人工精判的题。

