用小型参考集评估AI研究工作流

评估AI研究工作流，应从自己实际执行的任务建立小型参考集。运行之前，先定义期待取得的证据、不能接受的错误，以及必须保留的未知状态。模型把一个方便的例子回答得很漂亮，不等于流程通过评估；几个成功案例也不能建立普遍准确率。

先定义到底评估什么

你要测试的是扫描件提取、两个期间匹配、引文核查，还是备忘录起草？这些任务的失败方式不同。每个样例都应记录输入文档、提示词、工具和相关设置。工作流包含输入准备和检索方式，而不是界面显示的模型名称；同一模型面对不同预处理结果，可能出现完全不同的问题。

NIST人工智能风险管理框架提供AI系统风险管理框架。这里的参考集是面向个人研究的编辑实践，不是NIST认证，也不意味着一张清单就满足整个框架。目标是让别人看得出你测试了什么，以及一类错误在真实任务中会造成什么影响。

选择与用途有关的案例，不需要为了显得困难而加入不相干谜题。每个参考答案先由人回到原文检查，并注明为什么这种答案可接受。如果自己也无法确认，应把该案例标为未解决，不纳入简单通过数。参考标准本身模糊，会让一个看似精确的分数失去意义。

假设准备六个虚构任务：两个数字提取、一个缺失指标、一个条件句、一个来源修订和一个不可读扫描页。工作流通过五个，却为扫描页自信地编了一个数字。只说“准确率约百分之八十三”，会遮住最可能污染证据日志的那类故障。更准确的记录是“五个定义好的案例通过，不可读输入案例因编造数字失败”。

交付规则要和用途对应。对于自动填研究表的流程，无来源数字即使只有一个，也可以构成暂停条件；对于每句话都会人工回查的草稿，可以允许有限使用，但仍必须经过来源复核。规则应事先写好，避免因为结果听起来有用，就事后放宽标准。

比较提示词或输入处理变化时，保留一份稳定参考集，并保存每次回答及评分证据。看到失败后修改提示词，应重跑失败案例和其他案例，否则可能解决一个问题又引入另一个问题。反复用于调参的样例，与后来保留作新检查的样例要分开，不能把熟悉样例上的进步等同于普遍可靠。

不要让同一个系统成为自身无来源主张的唯一裁判。自动检查可以验证字段是否齐全或算术是否正确，人则回到原文检查实质含义。对评分有争议时，保留建议分数、最终处理和理由。这样得到的是可检查的缺陷历史，而不是一个无法追问依据的总分。

小参考集有助于识别已知失败模式，并支持有边界的使用决定，但不能估算所有发行人、语言、文档格式和未来模型版本的表现。结果旁应写明样例范围与用途限制。真实使用发生新故障，就把它加入参考集；输入流程或工具改变后重新检查。评估是关于工作流的证据记录，不是今后无需核查答案的保证。

不够。还应要求单位、期间、来源位置和缺失处理正确。一个数值看着对，但解释没有证据，也可能让整个任务不合格。

先覆盖对当前用途最重要的失败类型。小样本用于诊断，不能把其通过比例包装成具有统计验证的总体错误率。