跳到正文

研究指南

AI 辅助证据核对

别名设计:识别精简实验无法分开的效应

精简实验有时能估计一个合并对比,却无法分开里面各项效应。声称某组件有效之前,先检查设计列及别名关系。把同样组合重复更多次,可能让混合效应更精确,却仍不知道结果究竟来自哪个部分。

本任务交付实际运行矩阵、编码字典、别名表及可行的后续设计。这属于实验设计的识别问题,与校正多个检验的错误率不同,也不是观察性数据中相关变量系数不稳定的泛化说明;这里的列依赖被直接写进了执行组合。

三个因素,为什么只测试四种组合

设三个虚构研究流程选项:甲改变文档格式,乙增加来源定位清单,丙改变复核显示。各有低、高两水平,编码为负一、正一。实验之前,不预设哪种设置更好,也不把高水平理解为更高投资收益。

三个二水平因素的完整设计有八种组合。为了省运行次数,团队只做四种,并把丙设置为甲乙两列的乘积。

次序甲乙丙=甲×乙
1−1−1+1
2+1−1−1
3−1+1−1
4+1+1+1

NIST别名与混杂说明解释这类生成关系的后果。定位原文的列相乘例子,以及完整别名模式段落。下面的数值响应模型由本文另行假设,不是NIST实际实验的数据,也不是CoTrading功能的效果测评。

自己推导别名表,不只看软件行名

因为丙等于甲乘乙,两边再乘丙,得到单位列等于甲乙丙乘积。单位列每行都是一;正负一列的自身平方也都为一。把生成关系分别乘各因素,可以得到:

所选部分设计中的列无法区分的列
甲乙×丙
乙甲×丙
丙甲×乙
单位列甲×乙×丙

因此,软件虽然可能打印一行“丙”,这四次观察却无法把丙系数与甲乙交互系数分开。按完整均值模型解释,该行实际上混合二者。给列换一个名字,不会补出没有做过的组合。

这不证明交互事实上很大,而是说明设计没有能力判断。初筛时可以明确采用交互很小的假设,但必须把它写出。混合对比的标准误很小,也不能验证被假设很小的另一项,因为缺少的是不同组合,而不是小数位数。

一个可以逐格代入的数值主例

假设完整真实均值模型是:二十,加甲,减乙,加四乘丙,加二乘甲乙。响应明确为完成固定核验任务的分钟数,并假设准确性与任务范围可比,越低越快。它不是没有等距依据的顺序质量评分,真实应用也不能把任意评级当成分钟。本例始终使用负一与正一编码下的系数。

在最初四格,甲乙乘积等于丙,所以可观察模型变成二十,加甲,减乙,加六乘丙。依次代入四行,响应为二十六、十六、十二、二十六。

初始部分设计丙高水平均值丙低水平均值高减低对比
丙=甲×乙261412

十二是混合编码系数六的两倍,不证明丙单独系数为六,更不证明其单独高低效应为十二。假设完整模型中,丙系数四、甲乙交互系数二,它们共同进入最初对比。很多其他相加等于六的分解,也能同样拟合这四格。

这说明原数据无法单独选出分解方案。只报告软件的丙行,就会把尚未识别的组件贡献包装成确定结论。实际研究要保存运行表,而不只保存模型摘要;后者可能隐藏了正是导致无法分开的列关系。

加做互补部分,提供原来没有的信息

现在把另外四种组合补上,令丙等于甲乙乘积的负数。对这个三因素例,原四行全部符号反转并重新排序,也恰好得到同一互补集合。NIST镜像折叠设计说明讨论用反号运行扩充适当的部分设计,以解除主效应和二因素交互的别名链接。

使用相同的假设完整模型,新增运行如下:

次序甲乙丙=−甲×乙响应均值
5−1−1−118
6+1−1+124
7−1+1+120
8+1+1−118

新增部分中,丙高均值二十二,低均值十八,高减低为四,对应编码系数二。由于此时两列符号相反,估到的是丙系数减甲乙交互系数。

最初混合系数六、新部分混合系数二,二者半和为四,恢复假设丙系数;半差为二,恢复假设交互系数。合并两部分后,八种组合全部出现,丙列与甲乙列不再相同。真实观察会波动,仍需适当的不确定度估计,不能把教学均值当成没有误差的数据。

特别注意编码:恢复的丙系数四,对应这一表示下高水平减低水平效应八。不能把某部分的编码系数与另一部分的原始高低对比直接相加减,否则会差一个二倍因子。保留表格和代入过程,可以让复核者独立发现这种错误。

若第六次运行失败,新增部分只剩其余三条,简单平衡算式就会改变。此时丙高水平只剩响应二十,低水平仍平均十八,高减低为二,对应混合编码系数一。机械套用先前半和公式,会给丙系数三点五,而不是假设真实值四;原因是缺行改变了因素平衡,并非真实组件效应突然变小。

应保留失败原因,检查实际观察矩阵以及打算拟合哪些项。有些低阶对比在额外模型限制下仍可能可估,但不能继续声称平衡设计的捷径原样适用。七个观察格也不能唯一分解八个任意格均值。不要用完整模型预测的二十四补回失败行后,把这份由模型制造的精度当成新证据;如能实际重做,应保存重做版本与取数条件。

重复与识别是两种不同补充

把原四种组合各做十次,会增加对这些响应分布的了解,也可能估计重复性、改善混合系数精度。但是每一行里丙仍等于甲乙,因而不能分开两者。样本量增加并不必然增加所需的设计信息。

相反,八种组合各做一次,允许分解八个格均值;但若模型包括所有析因项,这八个均值被全部用完,没有格内纯误差估计。能识别对比和能可靠估计它的不确定度,是两个要求。完整运行矩阵不会取消有计划重复的必要性。

还要保存运行次序、人员、文档集及软件版本。后续运行晚于最初运行,可能伴随学习、任务改变或针对某因素的版本变化。适当时可以列共同时间区组偏移,但因素响应本身改变,不会因增加一个区组标签自动得到修复。随机化及重复安排仍应服务实际比较目标。

另一种边界:缺失组合根本无法执行

有时丙等于甲乙,并非团队为了省钱作出的设计选择,而是实际约束:某显示方案只兼容特定输入格式与清单状态。互补组合可能无法运行,或运行后已代表另一种产品。

不能承诺折叠设计可以消除这种物理限制。应重新定义可执行组合内的比较,调整因素定义,或寻找另一类证据。组件特定因果结论可能仍不可得;不能先预测一个无法执行的格子,再把预测值标为已经做过的实验。

同样,稀疏效应是假设某些项较小,不是已经测得这些交互为零。若专业知识支持用它作初筛,记录理由与什么证据会推翻它。在分解获得支持之前,保留“合并效应”这一名称,不用更多检验或更漂亮的显著性标记掩盖别名。

交付设计核验表

项目必须保留通过条件
因素编码高低水平具体定义两阶段实际设置一致
实际运行每行设置与结局不把预测格标作观察
生成关系列相等及正负号能复现执行矩阵
别名表主效应及交互列组件结论已识别或明确条件
后续设计可行互补组合能打破所关心别名
精度重复、单位、区组误差计算匹配取数

原先遗漏组合变得可行、流程版本改变,或新证据暗示被忽略交互重要时,应重新打开组件结论。保存初筛假设与扩充后矩阵,说明最初识别的是哪一个混合对比,以及哪批新观察使分解成为可能。真正增加识别信息的是执行过的新组合,不是模型输出中换过的行名。

常见问题

增加相同组合重复次数,能消除别名吗?

不能。重复可能改善精度,但列关系不变时,仍无法分开对应效应。

存在别名就证明存在交互吗?

不是。它证明所选设计无法区分特定效应,真实交互大小仍需要证据。

相关阅读