跳到正文

研究指南

AI 辅助证据核对

分位数核对:比较前固定插值规则

两个程序读取完全相同的数字,也可能给出不同样本四分位数,并不一定是谁提取错误。分位数需要规定概率如何定位到排序观测之间,比较前应固定定义,不能把算法差异当成总体变化。

R分位数文档列出九种算法,并说明所引版本默认type 7。其他软件应查自己的方法。下文明确比较type 1与type 7,而不是只写一个笼统的“百分位”。

保留排序样本及规则

记录观测标识、原值、单位、纳入条件、缺失处理与权重。排序时复制数据并保留标识。重复数值仍可能是不同观测,没有研究依据就删除并列值,会改变经验总体。

写明概率p、样本量n和算法。对于无权重样本、0<p≤1,type 1按经验分布反函数,选择第ceil(np)个排序值;零概率端点另取最小值。该方法返回实际观察到的一个数。

type 7计算h=1+(n−1)p,令j为h向下取整,g=h−j,以(1−g)x[j]+g x[j+1]插值,最大最小端点单独处理。这里序号从一开始,插值结果不一定是样本中某个原值。

假设案例:四个排序值

假设虚构样本为2、4、10、20,单位一致,每项等权。

概率type 1type 7
25%ceil(4×0.25)=1,得到2h=1.75,得到3.5
75%ceil(4×0.75)=3,得到10h=3.25,得到12.5

下四分位数按type 7为2+0.75×(4−2)=3.5,上四分位数为10+0.25×(20−10)=12.5。type 1则选第一和第三个原始观测。

因此四分位距按type 1为8,按type 7为9。后续若用四分位距分类异常点,即使输入文件完全没变,也可能产生不同分类。未核算法之前,不能把差异说成新增异常事件。

核对软件边界

用小型刻意样本测试概率零、一及内部概率。实际工作若会遇到并列值、缺失和单观测,也应测试。有的软件默认拒绝缺失,有的直接剔除;因此n变化属于数据处理差异,不只是插值差异。

有权重时说明含义,并使用文档化加权分位数。不能把有效样本量塞进无权重type 7公式,就称作加权结果。按任意权重复制行,也可能改变目标分布和概率定位。

存储样本的精确统计量,与总体分位数的估计应区分。确定性算法给出许多小数,不会消除抽样不确定性。小样本的极高分位数仅受极少尾部观测约束,插值不能创造新尾部证据。

保留工具版本及显式方法参数,先在完全相同原值上重跑两种算法,隔离算法差异,再查数据商修订或提取错误。软件、默认值或权重处理变化时,应重新验证。

离散整数数据经过插值,可能得到非整数分位数;它是允许的统计结果,不是真实可能出现的一条整数观测。若分位数用于合同或正式门槛,应采用对应规则指定的定义,不能让软件默认值替代。指标有封顶时,多个高分位相同也不证明未封顶的尾部分布相同。

阈值成员与分位数数字还要分开验证。“严格高于75分位”与“大于等于”在并列值下可能选中不同数量,两者都不保证恰好四分之一。应保存比较符号,不能为了凑人数反过来改分位数。

交接时附小型排序向量、目标概率、索引从零还是一开始,以及预期结果。让实现先复现,再处理真实表。若大数据采用近似流式算法,还需记录近似性质;精确type 7插值与近似百分位摘要不是同一计算。概率写25还是0.25也应在接口层验证,避免把百分数单位错误误判为统计定义差异。同一数据版本也应固定,避免把算法差异与输入修订混在一起。

常见问题

插值四分位数是虚构观测吗?

作为指定算法的统计量并非虚构;若说成真实存在的一行数据,就会误导。

样本分位数只有一种通用定义吗?

不是。有多种合理约定,应选择适合任务的方法,并在比较中保持一致。

相关阅读