跳到正文

研究指南

AI 辅助证据核对

漏斗不对称:调查缺失研究而不凭图补数量

漏斗图可以显示不够精确的研究倾向报告不同效应,却不能单凭形状告诉你缺了几项、为什么缺。把图中空白解释为负面证据被压下之前,应查研究计划、状态记录和结果可用性,而不是先补出一批不存在的观察点。

本任务交付与效应精度表连接的研究级报告台账,区分检索没找到、已完成却没有报告、以及报告遗漏计划结局。三种机制需要不同证据,不能压缩成一个含义不明的“缺失发表数量”。

先确认图中每个点代表什么

定义预期比较、结局、可纳入设计与检索截止日。把相关登记、方案及报告连接到同一研究标识;一个实验发了多篇文章,不是多个独立研究点。保留来源路径和版本,避免把综述引用的同一实验再次计数。

Cochrane手册第13章讨论缺失证据及漏斗不对称的不同解释。原文第13.3.4.2至13.3.4.4节提供图形与检验边界。下面另建虚构研究流程案例,不是在指控任何真实作者选择性报告。

每项估计保存结局尺度、效应方向、标准误及其分析方法。纵轴约定必须写清:标准误越大,估计越不精确;若改画标准误倒数,数值方向相反。不能只写“精度”,却让读者猜测图上高低分别表示什么。

重建一张假想不对称表

设八个虚构实验比较某核验辅助与共同对照。效应是正确核对主张比例差的百分点,正值有利于辅助;标准误和目标定义在此假设兼容。

实验效应,百分点标准误观察模式
甲−0.10.1较精确
乙0.00.1较精确
丙+0.10.1较精确
丁0.00.1较精确
戊+0.80.5较不精确
己+1.00.5较不精确
庚+1.20.5较不精确
辛+1.40.5较不精确

较不精确的点全部为正,较精确的点靠近零。这只是对八个已观察结果的描述,不能据此建立原本应有多少研究的分母。不存在一个有效减法,能把左侧看似空白区域转换成已知的未发表实验数量。

保存未四舍五入的数值表和原始不确定度计算。如果标准误由区间反推,记录相应假设。错误区间、符号反转或重复报告,可能在讨论报告偏差之前就制造视觉问题;先修这些输入,不能把每个不舒服的形状都归因于隐瞒。

相同外观,比较两种不同机制

一种可能解释是选择性可得:有利的小实验更容易公开,其他实验较难取得。调查它需要研究确已计划或完成、以及可得性是否依赖结果的记录;图中八个点本身并没有提供这些材料。

另一种解释是真实任务差异。设戊至辛专门研究困难且碎片化文档,辅助工具有更多发挥空间;甲至丁则处理简单文档。精度或样本规模因此与潜在任务效应相连,即使所有已完成实验都报告,也可能出现相同表格。

两种解释还可能同时存在。应把文档难度、流程版本、对照和评分规则与精度一起登记,检查在可比任务内部是否仍能解释差异,同时承认每组四研究支持有限。不能事后找到一个方便标签,就说异质性机制已经证实,更不能把它当作不必查报告状态的理由。

原章的其他原因表还列出研究局限、偶然性及某些效应量与标准误的数学关系。因此漏斗主要是调查触发器,不是诊断。适用于某效应量的检验,不一定适合标准化均差或优势比;应核对方法针对的输入,而不是复制一个通用显著性按钮。

用计划记录识别已知缺口

现在另设有时间戳的台账,登记十二个虚构研究计划,其中八个就是上表实验。其余四个在截止日有如下记录:

计划状态证据目标结果可用性当前分类
壬已完成未找到报告待调查的整份报告缺口
癸已完成且有报告缺少原计划目标结局研究内结果缺口
子仍在收集数据尚未预期完成结果截止日仍进行中
丑取数前取消未实际开展实验收集前取消

台账有十二个计划,八个当前可用目标估计,另有两个已知完成研究的缺口,且缺口机制不同。把其余四项全叫作被压下的负面研究,是错误的;本例既不知道壬目标结果的方向,也不知道癸遗漏结局的方向。

报告数量与目标估计数量也不同。癸已经有报告,却没提供所需结局;检索返回这份报告,并未解决结果可得问题。反过来,研究实际已完整发表,只是搜索没找到,属于检索失败,未必是选择性不报告。台账应能把这两种修复路径分开。

在十项有记录的已完成研究中,九项找到某种报告,只有八项找到目标结果,所以对应报告可得率百分之九十、目标结果可得率百分之八十。把八除以全部十二计划,又回答另一个问题,因为分母包括未完成和取数前取消项。这些比例只描述已知登记集合,不测量台账之外未知研究的覆盖率。

台账自身的范围也要核对。若登记自愿,或只有部分团队使用,即使完整检索台账,也不能证明实验总体已经完整。记录参与团队、时间窗口和纳入习惯;没有登记不等于从未开展,只能说这条查找路径没有相应记录。不能用已知集合的高可得率,否定集合外仍可能存在的缺失。

例如癸报告提供另一时间点,原方案却规定本次需要的六个月结局,不能用有一个结果就宣布目标缺口关闭。应记录原结局、已得结局和变更时间,核对差异能否合理解释。即便找到报告,研究内结果仍可能缺失;即便缺失确实存在,也不能在未获原数据时断言结果一定为负。

应核对结果尚未明确之前的方案版本。后来的修订可能合理解释结局改变,也可能仍留下报告疑问。保存原版、修订版与日期,不把今天的网页直接当作最初计划的证明;不知道变更时间时,明确标记未知,不替作者补动机。

检验限制与敏感性假设分开保留

只有八研究时,正式不对称检验的功效可能很低。Cochrane检验讨论把至少十研究作为经验准则,并列出其他限制。达到十,不等于任何方法都自动有效;不显著也不证明报告完整,尤其不能在证据较弱时把未发现当作不存在。

本例因此不报告一个虚构不对称显著性数值,而保留描述模式和已知缺口。确实适合正式检验时,应登记效应量、标准误输入及检验假设,不能挑选最能使报告疑问消失的方法,也不能只公开最有利的图。

敏感性分析可以问,在明确假设的缺失结果情景下,结论怎样改变;但情景始终是假设。把人工负点放进图,不会使它们变成已定位研究,模型调整出的数量也不是经过核实的隐藏实验清单。已知计划台账与未知总体的统计推断需要分别呈现。

若壬后来公布结果,应以实际估计和来源替换未知状态,同时保留旧台账。不能因为某个填充值支持原有怀疑,就继续用它代替新证据。补齐资料可能增强,也可能减轻选择性报告疑虑;更新条件应该允许两种方向,而不是预设只有一种结论。

交付缺失证据调查记录

字段保存什么回答什么
研究身份方案、登记、报告链接一个实验还是重复报告
纳入资格比较、结局、截止日是否属于此次综合
效应精度估计、标准误、方法图上点能否复算
状态计划、进行、完成、取消截止日应有结果吗
可得性整份报告与目标结局分列实际缺哪类证据
解释设计差异、报告记录、未知项哪项资料可区分机制

登记更新、完成报告出现、结局定义改变或找到漏检报告,都应触发重查。保留未解决项,没有证据就不归因动机。最终结论具体说明观察到的小研究差异和报告缺口,而不是声称一个形状已经数清全部缺失研究,或证明某位研究者为何没有报告。

常见问题

漏斗对称能证明没有报告偏差吗?

不能。有些缺失机制不会留下明显不对称,研究较少时尤其难判断。

漏斗不对称能数出被压下几项研究吗?

不能。核实数量需要独立研究记录;统计调整仍依赖模型假设。

相关阅读