跳到正文

研究指南

AI 辅助证据核对

秩关联:单调排序与线性斜率回答不同问题

完全秩相关说明两个变量的次序一致,不代表一个增加一单位,另一个就恒定增加某个数量。选择相关系数之前,把原始数值和秩放在一起核对。否则,一个有用的排序关系,很容易被误写成关于斜率、边际影响甚至因果的结论。

本任务交付配对观察台账、能处理并列值的秩表,以及所测关系的明确说明。它可用于核对任务复杂度与复核时间,或两套独立研究评分的关联;两个意见高度相关,并不证明其中任一意见正确。

先定义测量与配对

每行保存观察对象、横变量、纵变量、日期和单位。两项测量必须对应同一对象与计划窗口。若先把两列各自排序,再按位置拼起来,就会人为制造一致,而不是测量原来存在的关系。

SciPy的Spearman文档描述的是单调关联;原始值的Pearson相关针对线性关联。两者都不会自动提供因果设计,也不是检验所有依赖形式的万能工具。下面数字均为假设教学观察,不是真实公司或投资收益记录。

说明高值代表更困难、更充分证据,还是更快完成。若速度分数随用时缩短而上升,它与分钟数的方向相反。缺失和排除也要保留:只计算同时有两个值的行,在缺失具有选择性时会改变所分析总体,不能只留下一个相关系数。

次序完全相同,仍不等于直线

设四个虚构任务,横值依次为一、二、三、四,纵值为一、四、九、十六。在这个正数区间里,纵值正好是横值平方。

任务横值纵值横值秩纵值秩
甲1111
乙2422
丙3933
丁41644

两列秩完全一致,Spearman相关为一。但是纵值相邻增量是三、五、七,表格并不支持每单位横值对应恒定纵向变化。把“排名一致”写成“每增加一单位都提高五”,就越过了证据。

独立复算原值相关:横值均值二点五,纵值均值七点五,中心化乘积和为二十五,两列离差平方和分别五、一百二十九。因此Pearson相关为二十五除以六百四十五的平方根,约零点九八四三七四。它很高,但不是一。

四个观察的最小二乘直线是预测纵值等于负五加五倍横值,拟合值为零、五、十、十五,残差为一、负一、负一、一。曲率仍清楚存在;两项相关系数都好看,并不会让这些直线残差消失,也不能证明线性模型适合更远范围。

遇到并列,公开采用哪种秩

现在只把横值改为一、二、二、四,纵值保持不变。中间两个横值占据第二与第三名,采用平均秩时都记作二点五。

任务横值纵值横值平均秩纵值秩
甲1111
乙242.52
丙292.53
丁41644

SciPy rankdata说明定义了默认平均秩,并区分最小、最大、稠密和按出现次序等处理。应登记实际方法,尤其当原评分经过四舍五入,或本来就是少数几个类别时。

对两列秩求普通相关:均值都为二点五,中心化乘积和四点五,离差平方和分别四点五和五,得到四点五除以二十二点五的平方根,约零点九四八六八三。读者可以直接从四行表重建,而不必信任软件显示的最后几位。

常见简式“第一项一,减去六倍秩差平方和除以样本量乘样本量平方减一”,在这个简单形式下要求没有并列。若原样用于本例,会得到零点九五。差距虽小,却显示熟悉公式也可能使用错误前提,不能因为结果接近就认为处理正确。

不要按原始行顺序强行打破并列,以获得每行不同的名次;这会增加测量中没有的排序信息。若能取得未舍入值,先判断它是否才是计划输入,不能看哪一种精度提高相关后再换规则。原值、显示精度和秩规则都应有版本。

追踪纯粹由测量精度造成的变化

再做具体核对:横值为一点零一、一点一一、一点一四、一点二一,纵值秩依次一至四。舍入前两列秩完全相同,相关为一;横值保留一位小数后变成一点零、一点一、一点一、一点二,秩变为一、二点五、二点五、四,相关便与前例相同,约零点九四八六八三。

任务原本的次序没有改变,改变的是公开分辨率,中间两项差异被丢掉。应先记录这个原因,不把系数下降直接归因为研究质量恶化。跨期比较可以使用有依据的共同精度,或明确披露断点;不能只保留舍入列,再从结果中猜测原来两项谁更高。

如果原值不可取得,就保留“精度变化可能解释差异”这一待核条件。没有证据不能擅自恢复并列,也不能把两个时期原本不同的采集方式当成完全相同。需要补的是实际测量记录,不是为了接近旧相关而调整排序。

不同机制反例:确定关系也可秩相关为零

另设横值为负二、负一、零、一、二,纵值为四、一、零、一、四。纵值仍严格由横值平方决定,但范围跨过了最低点两边。

横值秩为一至五,纵值平均秩为四点五、二点五、一、二点五、四点五。中心化乘积互相抵消,Spearman相关为零;然而知道横值,就能在这个构造例中精确确定纵值。零秩相关并没有证明独立。

因此,把小相关解释为“没有可用关系”前,应看配对图,或至少保留按横值排列的原始表。非单调形状、分组和门槛效应都可能被单一单调汇总漏掉。另一方面,也不能为了挽救希望的结论而任意拟合复杂曲线;应说明需要研究的关系,再补充新观察。

它和第一个案例不同:第一个是顺序完全增加、增量不恒定;第二个是在整个范围内既不单调增加,也不单调减少,却仍有确定依赖。排序、直线程度和一般依赖是三个问题,不能用同一系数的名称把它们混在一起。

若把第二例限制为横值零、一、二,秩相关会变成一。这是受限范围中的陈述,不与原来的零矛盾。比较不同资料集的相关时,要保存取样窗口和纳入规则;看到系数上升,并不能排除只是研究范围改变。若这种限制事后才选,也要明确它属于探索,而非原先预定总体。

描述系数不等于推断结论

四五行足以演示算术,却不足以建立稳定总体关系。spearmanr文档提醒较小样本下近似显著性数值的限制,并讨论置换检验;这是实现方法的适用提醒,不是某个样本量一到就自动可靠的证书。

置换也要有可交换结构。同一发行人或人员重复观察,任意打乱每一行可能破坏取样设计。保留聚类和配对,并区分随机化任务实验与观察关联。换一个检验名称,不会修复依赖或选择问题;本例只解释描述性系数,不虚构显著性结果。

显著性数值不是效应大小,也不是因果故事为真的概率。应同时报告系数、样本量、并列数量、缺失及不确定度方法。若一项输入为常数,其秩方差为零,相关没有定义;不能把软件的未定义结果改写成“证明没有关系”。

交付关联核验表

记录必需输入核验动作
配对对象、日期、两项测量是否先匹配再排序
含义单位与方向高值是否含义一致
秩并列规则与精度能否复建平均秩
形状原值表或配对图是否单调、是否曲线
推断取样单位与方法独立或可交换假设成立吗
结论排序、斜率或其他目标表述是否匹配系数

原始数据不足时,不从四舍五入后的相关系数猜测散点结构。一个系数可能对应很多不同配对形状;如果只拿到汇总,应把原值和并列规则标为缺失。必须区分“暂不能复算”与“方法已经错误”,并记录需要哪一份行级资料才能继续核验。

舍入方式改变、新任务扩展范围、总体构成变化,都应触发重查。保存原值与派生秩,避免新的并列规则抹去旧计算。最终结论说明观察到了什么次序,以及关于距离、函数形状和原因还有什么未解决;它应比一个看似通用的相关等级更具体。

常见问题

Spearman等于一,就是完美线性吗?

不是。首例顺序完全一致,却是相邻增量改变的曲线关系。

秩相关为零能证明独立吗?

不能。对称范围中的确定性U形关系,可以得到零秩相关。

相关阅读