跳到正文

研究指南

AI 辅助证据核对

数据集快照:冻结行集合与变换规则

可复现研究快照应冻结行集合与变换规则,不只保存提供数据的PDF。另一位复查者应能识别相同输入,应用相同筛选,并得到相同观察键。否则备忘录文字不变,底层数据却可能悄悄变化。

W3C DCAT第三版提供数据集、分发形式与版本关系词汇,有助于描述数据,但不规定本文工作表,也不证明某快照完整。具体运营检查仍由研究者负责,不能把标准引用当验证完成。

定义快照边界

写明问题、总体、截止点与数据粒度。公司年度表与申报事实表的行身份不同,快照要说明保存哪一种,以及依赖哪些上游。只有一文件夹原文,没有行定义,不算冻结了分析样本。

保留原始输入身份、查询参数、数据结构和变换版本,包括筛选、身份对照、单位转换与修订选择规则。文件哈希可以识别对象,却不能解释为什么这些行被选中,更不能证明来源陈述真实。完整性与事实验证必须区分。

同时保存键集指纹与基本质量检查。行数不变,也可能有一家退出、另一家进入;总额不变,也可能发生互相抵消的错误。多种独立检查更容易发现替换,但不能因此保证所有内容正确。

假设案例:行数相同,样本已换

假设虚构松树快照有一百个公司年度观察。后来刷新仍是一百,简单行数检查通过,却有一家公司因身份匹配规则改变被删除,另一家被加入。数量没变,样本已改变。

比较排序观察键后,九十九行共有,一行删除、一行增加,对称差包含两个键。应先调查这是有意总体更新还是对照表错误,再复用原结论。只看文件名和行数,无法区分两种原因。

再假设键全部相同,但来源修订让十二个值改变。键集检查通过,值比较却不同。两种差异都应进入快照报告。所有数量与名称均为假设,没有声称软件已实现某功能,也没有宣称完成真实重跑实验。

快照清单工作表

构成保存内容
分析粒度一行含义及唯一键
总体与截止成员与信息资格规则
原始输入对象身份、抓取细节、许可副本
变换规则脚本或步骤、参数、对照表版本
结构检查行数、重复键、键集差、结构
值检查选定总额、变化单元格、未解决异常

写一份从冻结输入开始的重跑说明。如果命令抓今天最新数据,即使脚本叫“复现”,它也是刷新。输入不能保存或重取时,明确复现限制,并留下足够元数据识别缺少什么。不要用一个运行成功状态掩盖输入已不同。

复现与刷新分开

原分析与后来更新使用不同快照标识,显式比较,不覆盖同一文件。有意刷新可以改变结论,关键是能把变化归因于数据、变换还是解释。参数修正也应形成新版本,避免旧分析的可复查路径消失。

先完成机械键和值检查,再让AI总结差异。不能让模型因为文字没改或行数相同,就推断数据没变;哈希匹配也不能称独立事实核验,它只说明按选定算法核对的字节身份。最终资料包应让读者重开输入、复现选择并看见未解决异常。

对于大表,可以保留完整机器差异与人工可读重点,但不能只保留摘要。摘要帮助阅读,行级证据帮助追查,两者用途不同。样本关键规则应在报告中有直接入口。

常见问题

保存原文就足以复现数据吗?

通常不够。行粒度、过滤、身份连接、换算和版本选择也会改变结果。

行数相同就证明刷新没改样本吗?

不能。需比较观察键和值,替换和修订都可能保持行数不变。

相关阅读