跳到正文

研究指南

AI 辅助证据核对

证据独立性:统计信息机制而非文档份数

证据是否独立,取决于观察是怎样产生的,而不是有多少文档重复同一个结论。应分开统计文件份数、底层测量次数,以及对解释真正不同的检验。十份报告可能共用一个调查、一个假设或同一种筛选规则,它们的信息增量未必像表面上那样丰富。

不止追溯引用,还要追溯错误机制

引用链回答谁转述了谁;独立性检查则问:这些观察会不会因为同一个原因一起出错?两份有原创文字的报告,仍可能依赖同一组客户调查。反过来,同一组织内部两种测量方法也可能不同,但机构激励和材料选择仍存在关联,不能简单按发布者数量给证据打分。

W3C来源追溯概述用实体、活动和参与者描述来源关系。可以借这种思路登记输入和生成步骤,但它不提供统计独立性认证。下面的证据簇工作表是用于揭示共同机制的编辑工具,不是W3C认可的信心评分,也不意味着找到来源之后就可以省略判断。

假设案例:需求观察只有两条测量路线

假设正在核对一家虚构工业零件公司的需求是否扩大。A报告调查经销商;B报告把同一调查换算成收入预测;C报告采访引用该调查的分析师;D报告查看另一组终端客户采购订单。四个文件,不等于四次独立需求观察。

记录底层测量共同弱点研究中的用途
A经销商样本调查没覆盖小买家有范围限制的直接观察
BA的调查加价格假设继承同样遗漏和模型假设衍生解释
C基于A的评论同样样本再加采访选择背景材料,不增加独立确认
D终端客户订单样本样本和订单定义不同另一种检验,仍需口径核对

A、B、C应归入同一个测量簇。D需要单独描述,但也不自动验证A:客户订单可能撤销,经销商报告的却是出货。合并之前,先对齐期间、产品范围和需求链条中的阶段。来源之间出现差异,不一定说明有人造假,也可能说明它们本来就在观察不同事情。

记录三种依赖

第一种是共用数据。定位每条记录背后的调查机构、公司披露、原始数据集或交易数据流。包装和品牌不同,不会创造新测量。无法追溯来源时应记为未知,不能因为来历不清就把资料提升为独立证据。一个不透明的数据库可能仍然复制了你已有的公司公告。

第二种是共用假设。两份预测可能使用不同数据,却都依赖同一个提价、汇率或市场规模假设。最终数字一致,可能只是共享输入的结果。能取得假设表就登记,无法取得则说明缺口。模型措辞不同,也不能证明它使用了不同信息或独立完成了检验。

第三种是共用选择机制。两项研究可以分别采集数据,却都只选择成功客户、大型上市公司或近期活跃钱包。相同筛选会留下相同盲区。应把被遗漏群体写在证据簇旁边,而不是把所有限制压缩成备忘录结尾一句“存在偏差”,让读者看不出偏差具体影响哪条推断。

使用证据簇,不凭空赋予权重

最后总结每个簇检验了什么,还剩下什么未知。可以写“一个经销商测量和一个终端客户测量分别支持机制的不同阶段,订单撤销风险仍未解决”,而不是说“四个来源一致确认需求”。前一种表述能被复查,后一种表述夸大了独立支持程度。

除非有能解释依赖和误差的模型,否则不要乘概率,也不要给每个簇平均加分。这张工作表不是这样的统计模型。共同来源后来更正时,应复查整个依赖簇,而不是把三份报告的更正算成三次新的负面事件。新测量方法的贡献值得保留,但其自身边界也应同时展示。

常见问题

不同发布者就代表证据独立吗?

不是。要检查底层观察、假设和适用群体。独立编辑团队也可能继承同一个测量错误,发布者数量只能作为线索。

有依赖的报告都应该删除吗?

不用。它们可能提供有用解释或不同意见。保留其实际用途,但不要把每份文件都算作同一事实的一次独立观测。

相关阅读