汇总方向反转：提出结论前核对组内证据

每个已测子组的成功率都改善，总体成功率仍可能下降。原因可能是任务组合转向更难案例，而不是组内表现变差。让AI解释总体反转之前，应重建各组分母，而不是只看一条百分比曲线。

斯坦福对Simpson悖论的数学分析讨论总体与子组关联为何可能不同。下面使用独立虚构的研究工作流计数，不证明任何真实模型或提示词的因果效果。

同时保留数量和比率

先根据问题选择分层，不能看到反转后再挑最方便的类别。每组每期记录成功量与合资格案例量，并核对任务、评分和覆盖。若两个时期“复杂文档”的定义变了，组内比较也可能误导。

总体成功率等于各组成功率乘该组在总体中的份额后求和。即使各组率不变，份额改变也会改变总体。保存原始分子分母，不能只保留舍入百分比。

分别问实际工作量上的表现，以及固定任务组合上的表现。两者都可能有用，但估计目标不同。标准化比较应写明参考构成，不能声称它是唯一正确的总体数字。

假设虚构提取流程处理两种文档。A期简单案例100个通过90个，复杂案例10个通过2个；B期简单案例20个通过19个，复杂案例100个通过30个。

每组改善，总体却大降，因为工作量大量转向复杂案例。说流程在每种文档上都变差，与表格矛盾；说实际输入变简单，也同样错误。

固定A期构成：简单权重100÷110，复杂权重10÷110。用B期成功率计算，得到(100÷110)×95%＋(10÷110)×30%≈89.09%。按这个约定，组内改善使标准化率相对A期提高约5.45个百分点。

B期实际40.83%与标准化89.09%的差，在此分解顺序下对应构成贡献。换顺序可能不同地分配交互项，应保留约定，不能把一种分摊写成唯一物理事实。

安排人工复核时，B期实际成功率仍重要：更难输入会增加复核量，即使系统本身在改善。比较工作流时，固定任务组合或匹配参考集可能更合适，不能看结果后才选对自己有利的目标。

检查组内是否足够同质。“复杂”大类内部也可能转向更难案例。分层更细并非总是更好，小分母会增大不确定性，事后分类又可能诱发选择报告。应展示数量，并保留尚未解决的分类变动。

标准化是描述方法，除非有额外设计，不能自动作因果解释。文档、复核者、工具版本和选择机制仍可能在组内变化。出现反转，也不能单独确定应该控制哪个变量，或证明分组已经消除混杂。

交付物应包含实际总体、子组证据和带标签的固定构成比较。定义、评分政策改变时复查。即使标准化改善，也保留实际总体下降，因为它仍描述真实运行工作量。

还应区分百分点与相对百分比：从90%到95%是增加5个百分点，不是增加5%。表格和备忘录使用同一表达，避免在复杂分解后又通过单位误读放大改善。任何区间估计都应基于原计数与适用抽样设计，不能从两位小数推断结果精确。

固定构成也可能因研究者改选参考权重而变化，所以要公开权重，不把标准化与实际分母混在一起。若某期完全没有某组，该组成功率并未观察；为凑完整标准化而生成一个率，会引入新模型假设，不能当成已解决比较。此时可限制共同覆盖组或保留结果未识别，但目标改变应明确。

报告实际率，必要时附明确的标准化比较，说明各自支持哪种决定。

不能。算术只分开构成与组内率，因果归因需要额外设计和证据。