别名设计:识别精简实验无法分开的效应
精简实验有时能估计一个合并对比,却无法分开里面各项效应。声称某组件有效之前,先检查设计列及别名关系。把同样组合重复更多次,可能让混合效应更精确,却仍不知道结果究竟来自哪个部分。
本任务交付实际运行矩阵、编码字典、别名表及可行的后续设计。这属于实验设计的识别问题,与校正多个检验的错误率不同,也不是观察性数据中相关变量系数不稳定的泛化说明;这里的列依赖被直接写进了执行组合。
三个因素,为什么只测试四种组合
设三个虚构研究流程选项:甲改变文档格式,乙增加来源定位清单,丙改变复核显示。各有低、高两水平,编码为负一、正一。实验之前,不预设哪种设置更好,也不把高水平理解为更高投资收益。
三个二水平因素的完整设计有八种组合。为了省运行次数,团队只做四种,并把丙设置为甲乙两列的乘积。
| 次序 | 甲 | 乙 | 丙=甲×乙 |
|---|---|---|---|
| 1 | −1 | −1 | +1 |
| 2 | +1 | −1 | −1 |
| 3 | −1 | +1 | −1 |
| 4 | +1 | +1 | +1 |
NIST别名与混杂说明解释这类生成关系的后果。定位原文的列相乘例子,以及完整别名模式段落。下面的数值响应模型由本文另行假设,不是NIST实际实验的数据,也不是CoTrading功能的效果测评。
自己推导别名表,不只看软件行名
因为丙等于甲乘乙,两边再乘丙,得到单位列等于甲乙丙乘积。单位列每行都是一;正负一列的自身平方也都为一。把生成关系分别乘各因素,可以得到:
| 所选部分设计中的列 | 无法区分的列 |
|---|---|
| 甲 | 乙×丙 |
| 乙 | 甲×丙 |
| 丙 | 甲×乙 |
| 单位列 | 甲×乙×丙 |
因此,软件虽然可能打印一行“丙”,这四次观察却无法把丙系数与甲乙交互系数分开。按完整均值模型解释,该行实际上混合二者。给列换一个名字,不会补出没有做过的组合。
这不证明交互事实上很大,而是说明设计没有能力判断。初筛时可以明确采用交互很小的假设,但必须把它写出。混合对比的标准误很小,也不能验证被假设很小的另一项,因为缺少的是不同组合,而不是小数位数。
一个可以逐格代入的数值主例
假设完整真实均值模型是:二十,加甲,减乙,加四乘丙,加二乘甲乙。响应明确为完成固定核验任务的分钟数,并假设准确性与任务范围可比,越低越快。它不是没有等距依据的顺序质量评分,真实应用也不能把任意评级当成分钟。本例始终使用负一与正一编码下的系数。
在最初四格,甲乙乘积等于丙,所以可观察模型变成二十,加甲,减乙,加六乘丙。依次代入四行,响应为二十六、十六、十二、二十六。
| 初始部分设计 | 丙高水平均值 | 丙低水平均值 | 高减低对比 |
|---|---|---|---|
| 丙=甲×乙 | 26 | 14 | 12 |
十二是混合编码系数六的两倍,不证明丙单独系数为六,更不证明其单独高低效应为十二。假设完整模型中,丙系数四、甲乙交互系数二,它们共同进入最初对比。很多其他相加等于六的分解,也能同样拟合这四格。
这说明原数据无法单独选出分解方案。只报告软件的丙行,就会把尚未识别的组件贡献包装成确定结论。实际研究要保存运行表,而不只保存模型摘要;后者可能隐藏了正是导致无法分开的列关系。
加做互补部分,提供原来没有的信息
现在把另外四种组合补上,令丙等于甲乙乘积的负数。对这个三因素例,原四行全部符号反转并重新排序,也恰好得到同一互补集合。NIST镜像折叠设计说明讨论用反号运行扩充适当的部分设计,以解除主效应和二因素交互的别名链接。
使用相同的假设完整模型,新增运行如下:
| 次序 | 甲 | 乙 | 丙=−甲×乙 | 响应均值 |
|---|---|---|---|---|
| 5 | −1 | −1 | −1 | 18 |
| 6 | +1 | −1 | +1 | 24 |
| 7 | −1 | +1 | +1 | 20 |
| 8 | +1 | +1 | −1 | 18 |
新增部分中,丙高均值二十二,低均值十八,高减低为四,对应编码系数二。由于此时两列符号相反,估到的是丙系数减甲乙交互系数。
最初混合系数六、新部分混合系数二,二者半和为四,恢复假设丙系数;半差为二,恢复假设交互系数。合并两部分后,八种组合全部出现,丙列与甲乙列不再相同。真实观察会波动,仍需适当的不确定度估计,不能把教学均值当成没有误差的数据。
特别注意编码:恢复的丙系数四,对应这一表示下高水平减低水平效应八。不能把某部分的编码系数与另一部分的原始高低对比直接相加减,否则会差一个二倍因子。保留表格和代入过程,可以让复核者独立发现这种错误。
若第六次运行失败,新增部分只剩其余三条,简单平衡算式就会改变。此时丙高水平只剩响应二十,低水平仍平均十八,高减低为二,对应混合编码系数一。机械套用先前半和公式,会给丙系数三点五,而不是假设真实值四;原因是缺行改变了因素平衡,并非真实组件效应突然变小。
应保留失败原因,检查实际观察矩阵以及打算拟合哪些项。有些低阶对比在额外模型限制下仍可能可估,但不能继续声称平衡设计的捷径原样适用。七个观察格也不能唯一分解八个任意格均值。不要用完整模型预测的二十四补回失败行后,把这份由模型制造的精度当成新证据;如能实际重做,应保存重做版本与取数条件。
重复与识别是两种不同补充
把原四种组合各做十次,会增加对这些响应分布的了解,也可能估计重复性、改善混合系数精度。但是每一行里丙仍等于甲乙,因而不能分开两者。样本量增加并不必然增加所需的设计信息。
相反,八种组合各做一次,允许分解八个格均值;但若模型包括所有析因项,这八个均值被全部用完,没有格内纯误差估计。能识别对比和能可靠估计它的不确定度,是两个要求。完整运行矩阵不会取消有计划重复的必要性。
还要保存运行次序、人员、文档集及软件版本。后续运行晚于最初运行,可能伴随学习、任务改变或针对某因素的版本变化。适当时可以列共同时间区组偏移,但因素响应本身改变,不会因增加一个区组标签自动得到修复。随机化及重复安排仍应服务实际比较目标。
另一种边界:缺失组合根本无法执行
有时丙等于甲乙,并非团队为了省钱作出的设计选择,而是实际约束:某显示方案只兼容特定输入格式与清单状态。互补组合可能无法运行,或运行后已代表另一种产品。
不能承诺折叠设计可以消除这种物理限制。应重新定义可执行组合内的比较,调整因素定义,或寻找另一类证据。组件特定因果结论可能仍不可得;不能先预测一个无法执行的格子,再把预测值标为已经做过的实验。
同样,稀疏效应是假设某些项较小,不是已经测得这些交互为零。若专业知识支持用它作初筛,记录理由与什么证据会推翻它。在分解获得支持之前,保留“合并效应”这一名称,不用更多检验或更漂亮的显著性标记掩盖别名。
交付设计核验表
| 项目 | 必须保留 | 通过条件 |
|---|---|---|
| 因素编码 | 高低水平具体定义 | 两阶段实际设置一致 |
| 实际运行 | 每行设置与结局 | 不把预测格标作观察 |
| 生成关系 | 列相等及正负号 | 能复现执行矩阵 |
| 别名表 | 主效应及交互列 | 组件结论已识别或明确条件 |
| 后续设计 | 可行互补组合 | 能打破所关心别名 |
| 精度 | 重复、单位、区组 | 误差计算匹配取数 |
原先遗漏组合变得可行、流程版本改变,或新证据暗示被忽略交互重要时,应重新打开组件结论。保存初筛假设与扩充后矩阵,说明最初识别的是哪一个混合对比,以及哪批新观察使分解成为可能。真正增加识别信息的是执行过的新组合,不是模型输出中换过的行名。
常见问题
增加相同组合重复次数,能消除别名吗?
不能。重复可能改善精度,但列关系不变时,仍无法分开对应效应。
存在别名就证明存在交互吗?
不是。它证明所选设计无法区分特定效应,真实交互大小仍需要证据。