跳到正文

研究指南

AI 辅助证据核对

研究功效:事先选定值得识别的差异

研究预算应在查看结果之前,连接到值得识别的差异。“数据很多行”不是设计规格,真正需要写明的是独立采样单位、预期误差尺度、假阳性阈值、目标功效,以及最小实质重要差异。

本文规划两个文档研究流程的比较,交付事前样本量和最小可检测差异表,同时列出设计假设与招募损耗。它不用于优化投资策略或选择交易规则,也不把研究流程的时间差转成投资回报承诺。

求样本量之前先定义研究

假设独立文档被随机分配给A或B流程,结果是固定计时口径下的完成分钟数,主要目标是总体平均时间差。每组计划同样数量n的独立文档,共同组内标准差假设为10分钟,双侧alpha为0.05,在指定非零差异处目标功效为0.80。

功效是给定备择、模型和设计时拒绝原假设的概率,不是某个假设为真的概率,也不保证这一次试验一定显著。在计划差异下,百分之八十功效仍容许百分之二十不拒绝;要说明它针对哪个差异,而不能脱离效应量只报告一个功效数字。

TTestIndPower.solve_power官方文档把标准化效应、第一组样本数、alpha、功效和分配比作为两样本t设计输入。这里分配比为1,标准化差异是分钟差除以10。nobs1是第一组数量,不是两组总数,工作表应保存输入而不只留下求解器结果。

先算透明的正态近似

两个等量独立组、共同SD为sigma时,均值差标准误为sigma乘√(2/n)。用舍入的正态分位数1.96和0.84,可得常见规划近似:每组n约为2乘(1.96+0.84)平方,再乘sigma平方,最后除以delta平方。

sigma取10时,分子为2乘2.8平方乘100,等于1568。

目标分钟差标准化差异每组近似n向上取整两组分析总数
50.562.7263126
20.2392.00392784

目标从5分钟缩到2分钟,要求不是只多一点样本。在其他条件固定时,样本量约按差异平方的倒数变化,(5/2)平方等于6.25。预算能否支持业务关心的问题,应在此时判断,而不是数据结束后才发现研究几乎看不到目标差异。

这个表达使用了舍入分位数与大样本近似。不能把63写成精确t检验需求,也不能声称任何每组63的研究都恰好有百分之八十功效。近似的作用是解释参数关系,具体方案还需按选定检验复核。

t设计与误差尺度是两层问题

在独立正态、等方差且共同SD需要估计的模型下,可以用非中心t分布进一步计算。每组n时自由度为2n−2,非中心参数为标准化差异乘√(n/2),在中央t临界值外累计两个拒绝尾部的概率。

独立复算该模型,标准化差异0.5对应连续样本数约63.766,0.2对应约393.406。向上取整分别为每组64和394,总分析文档128和788。这些模型规划值采用所定t分布,与前面的舍入正态近似分开报告。

t计算处理该模型中估计SD的问题,不会消除“总体SD设为10”这个先验输入本身的不确定度。输入需要相关试点、外部证据或清楚标注的范围。试点误差尺度过于乐观,即使求解器完全正确,也会低估主研究需要。

仍用舍入正态近似及目标差5,若SD为8,每组n为40.1408,向上取41;若SD为12,则为90.3168,向上取91。这是自拟设计敏感性表,不是真实SD的概率区间。应在每种尺度情景旁保留支持它的试点来源、计时定义和适用人口。

固定预算反推可检测差异

预算固定时,反解同一近似式:最小可检测差异约为2.8乘10乘√(2/n)。注意这里n始终是每组分析数量。

每组可用n近似可检测分钟差
505.600
1003.960
4001.980

从50加到100不会把可检测差异减半,只减少一个平方根因子。大致四倍独立样本才把差异减半。这些是设计属性,不是因为预算有限,就把真正重要的两分钟重新定义为不重要的理由。

若实际目标是2分钟,预算只能每组50,在这些假设下就应承认对目标功效不足。可以改变采集设计、改善测量精度或增加预算,但不能看到有利样本后改选更大差异,再称其为原定研究问题。

招募损耗不等于缺失问题消失

假设选用每组64可分析文档的t设计,预计百分之二十不可用,简单招募补偿是64除以0.8向上取整,得每组80。若选394的设计,则394除以0.8为492.5,向上取493。这些只计划期望可用量,实际随机损失仍可能使最终数量不足。

加招募量不能修复选择性缺失。若B主要在长文档上失败,只比较完成项会改变目标量并可能偏置均值差。应在分配前规定失败、超时和来源不可取得的处理,并报告数量与原因,不能只留下成功计时结果。

独立性也比行数更重要。同一文档重复运行不是新文档,同一任务下高度相关的文档可能需要聚类设计。如果每份文档自然同时执行两流程,配对设计使用的是文档内差值方差,功效计算应改变,不能为省事沿用两独立组公式。

事前规划与事后证据分开

完成后报告平均差估计、区间、失败和偏离计划之处。再用已观察效应充当计划真效应计算“事后功效”,没有为当前结果增加独立证据。不显著可能只是没有结论;计划功效很高,也不能证明等效或排除所有实质差异。

功效不会修复混杂、错误连接、测量口径变化或样本不具代表性。应事先固定主要比较,或制定适当多重性计划,才能解释alpha为0.05对应什么程序。尝试许多结果变量再挑最有利的一个,已经不是原来的单一检验设计。

规划项目保存证据更新触发
实质差异分钟单位下的决策理由用途改变
误差尺度试点来源及SD情景新的可比试点
采样单位文档任务层级及分配发现依赖或自然配对
检验规格alpha、单双侧、模型、功效查看结果前设计改变
招募分析目标及损耗假设新损耗证据
最终报告估计、区间、协议偏离数据或测量错误纠正

修订计划应保留原日期,并说明修改时结果是否已经可见,让复核者分辨真正的事前设计与结果出来后的论证。规划价值在于及早暴露问题与证据不匹配,使研究还有机会调整,同时诚实记录最终数据实际能够回答的范围。

总预算相同仍要检查分配比例

设共同组内SD仍为10,独立文档总数固定120。按60与60分配,均值差方差为100/60加100/60,约3.333;按40与80分配,则是100/40加100/80,等于3.75。对应标准误约1.826与1.936,乘同一个舍入规划因子2.8,近似可检测差异分别为5.112与5.422分钟。

总数量相同不等于信息相同,较大一组不能完全补偿很小的比较组。成本差异、招募限制或不同方差结构可以构成不等分配的理由,但这些理由要写入设计,并在求解器ratio输入中体现。不能将两组合并填成单一120,再期待工具自动理解哪一组有多少。

这个例子同时区分了招募总数、最终可用量和组别分配。招募多不代表各组都够用;若损耗集中在一组,另一组剩余更多也不能直接视作达标。研究应按组跟踪可用数及失败机制,在未查看结果效应前按既定规则处理补招募。

如果试点目的只是了解流程可行性,而没有能力识别实质差异,应清楚称其为试点,报告计时变异、缺测和采集成本。不要为了发布一个“有功效”的标签,拿试点里偶然很大的效应反推刚好足够的样本数。主研究的目标差异应仍由实际决策理由确定。

预算表还可以附时间与资源约束,但这些约束不能改变统计目标的含义。资源不足时,保留“当前方案难以回答两分钟问题”的判断,本身就是有用的研究结论;它能防止后续团队把无显著结果误读成不存在重要差异,也能明确下一轮应优先改善测量还是增加独立对象。

试点更新SD时,保留计算版本、原预算及新预算,连同取整和分配比例一起归档。招募已开始后,应先说明允许怎样更新样本目标,再使用新信息调整;不能删除原计划,让事后的设计看起来像最初就已确定。

常见问题

百分之八十功效是否等于假设有百分之八十概率正确?

不是。它是在指定备择、采样模型和检验设计下的拒绝概率。

重复测量能否算成额外独立文档?

不能。适当模型下可以改善测量精度,但依赖结构必须保留在设计中。

相关阅读