漏斗不对称:调查缺失研究而不凭图补数量
漏斗图可以显示不够精确的研究倾向报告不同效应,却不能单凭形状告诉你缺了几项、为什么缺。把图中空白解释为负面证据被压下之前,应查研究计划、状态记录和结果可用性,而不是先补出一批不存在的观察点。
本任务交付与效应精度表连接的研究级报告台账,区分检索没找到、已完成却没有报告、以及报告遗漏计划结局。三种机制需要不同证据,不能压缩成一个含义不明的“缺失发表数量”。
先确认图中每个点代表什么
定义预期比较、结局、可纳入设计与检索截止日。把相关登记、方案及报告连接到同一研究标识;一个实验发了多篇文章,不是多个独立研究点。保留来源路径和版本,避免把综述引用的同一实验再次计数。
Cochrane手册第13章讨论缺失证据及漏斗不对称的不同解释。原文第13.3.4.2至13.3.4.4节提供图形与检验边界。下面另建虚构研究流程案例,不是在指控任何真实作者选择性报告。
每项估计保存结局尺度、效应方向、标准误及其分析方法。纵轴约定必须写清:标准误越大,估计越不精确;若改画标准误倒数,数值方向相反。不能只写“精度”,却让读者猜测图上高低分别表示什么。
重建一张假想不对称表
设八个虚构实验比较某核验辅助与共同对照。效应是正确核对主张比例差的百分点,正值有利于辅助;标准误和目标定义在此假设兼容。
| 实验 | 效应,百分点 | 标准误 | 观察模式 |
|---|---|---|---|
| 甲 | −0.1 | 0.1 | 较精确 |
| 乙 | 0.0 | 0.1 | 较精确 |
| 丙 | +0.1 | 0.1 | 较精确 |
| 丁 | 0.0 | 0.1 | 较精确 |
| 戊 | +0.8 | 0.5 | 较不精确 |
| 己 | +1.0 | 0.5 | 较不精确 |
| 庚 | +1.2 | 0.5 | 较不精确 |
| 辛 | +1.4 | 0.5 | 较不精确 |
较不精确的点全部为正,较精确的点靠近零。这只是对八个已观察结果的描述,不能据此建立原本应有多少研究的分母。不存在一个有效减法,能把左侧看似空白区域转换成已知的未发表实验数量。
保存未四舍五入的数值表和原始不确定度计算。如果标准误由区间反推,记录相应假设。错误区间、符号反转或重复报告,可能在讨论报告偏差之前就制造视觉问题;先修这些输入,不能把每个不舒服的形状都归因于隐瞒。
相同外观,比较两种不同机制
一种可能解释是选择性可得:有利的小实验更容易公开,其他实验较难取得。调查它需要研究确已计划或完成、以及可得性是否依赖结果的记录;图中八个点本身并没有提供这些材料。
另一种解释是真实任务差异。设戊至辛专门研究困难且碎片化文档,辅助工具有更多发挥空间;甲至丁则处理简单文档。精度或样本规模因此与潜在任务效应相连,即使所有已完成实验都报告,也可能出现相同表格。
两种解释还可能同时存在。应把文档难度、流程版本、对照和评分规则与精度一起登记,检查在可比任务内部是否仍能解释差异,同时承认每组四研究支持有限。不能事后找到一个方便标签,就说异质性机制已经证实,更不能把它当作不必查报告状态的理由。
原章的其他原因表还列出研究局限、偶然性及某些效应量与标准误的数学关系。因此漏斗主要是调查触发器,不是诊断。适用于某效应量的检验,不一定适合标准化均差或优势比;应核对方法针对的输入,而不是复制一个通用显著性按钮。
用计划记录识别已知缺口
现在另设有时间戳的台账,登记十二个虚构研究计划,其中八个就是上表实验。其余四个在截止日有如下记录:
| 计划 | 状态证据 | 目标结果可用性 | 当前分类 |
|---|---|---|---|
| 壬 | 已完成 | 未找到报告 | 待调查的整份报告缺口 |
| 癸 | 已完成且有报告 | 缺少原计划目标结局 | 研究内结果缺口 |
| 子 | 仍在收集数据 | 尚未预期完成结果 | 截止日仍进行中 |
| 丑 | 取数前取消 | 未实际开展实验 | 收集前取消 |
台账有十二个计划,八个当前可用目标估计,另有两个已知完成研究的缺口,且缺口机制不同。把其余四项全叫作被压下的负面研究,是错误的;本例既不知道壬目标结果的方向,也不知道癸遗漏结局的方向。
报告数量与目标估计数量也不同。癸已经有报告,却没提供所需结局;检索返回这份报告,并未解决结果可得问题。反过来,研究实际已完整发表,只是搜索没找到,属于检索失败,未必是选择性不报告。台账应能把这两种修复路径分开。
在十项有记录的已完成研究中,九项找到某种报告,只有八项找到目标结果,所以对应报告可得率百分之九十、目标结果可得率百分之八十。把八除以全部十二计划,又回答另一个问题,因为分母包括未完成和取数前取消项。这些比例只描述已知登记集合,不测量台账之外未知研究的覆盖率。
台账自身的范围也要核对。若登记自愿,或只有部分团队使用,即使完整检索台账,也不能证明实验总体已经完整。记录参与团队、时间窗口和纳入习惯;没有登记不等于从未开展,只能说这条查找路径没有相应记录。不能用已知集合的高可得率,否定集合外仍可能存在的缺失。
例如癸报告提供另一时间点,原方案却规定本次需要的六个月结局,不能用有一个结果就宣布目标缺口关闭。应记录原结局、已得结局和变更时间,核对差异能否合理解释。即便找到报告,研究内结果仍可能缺失;即便缺失确实存在,也不能在未获原数据时断言结果一定为负。
应核对结果尚未明确之前的方案版本。后来的修订可能合理解释结局改变,也可能仍留下报告疑问。保存原版、修订版与日期,不把今天的网页直接当作最初计划的证明;不知道变更时间时,明确标记未知,不替作者补动机。
检验限制与敏感性假设分开保留
只有八研究时,正式不对称检验的功效可能很低。Cochrane检验讨论把至少十研究作为经验准则,并列出其他限制。达到十,不等于任何方法都自动有效;不显著也不证明报告完整,尤其不能在证据较弱时把未发现当作不存在。
本例因此不报告一个虚构不对称显著性数值,而保留描述模式和已知缺口。确实适合正式检验时,应登记效应量、标准误输入及检验假设,不能挑选最能使报告疑问消失的方法,也不能只公开最有利的图。
敏感性分析可以问,在明确假设的缺失结果情景下,结论怎样改变;但情景始终是假设。把人工负点放进图,不会使它们变成已定位研究,模型调整出的数量也不是经过核实的隐藏实验清单。已知计划台账与未知总体的统计推断需要分别呈现。
若壬后来公布结果,应以实际估计和来源替换未知状态,同时保留旧台账。不能因为某个填充值支持原有怀疑,就继续用它代替新证据。补齐资料可能增强,也可能减轻选择性报告疑虑;更新条件应该允许两种方向,而不是预设只有一种结论。
交付缺失证据调查记录
| 字段 | 保存什么 | 回答什么 |
|---|---|---|
| 研究身份 | 方案、登记、报告链接 | 一个实验还是重复报告 |
| 纳入资格 | 比较、结局、截止日 | 是否属于此次综合 |
| 效应精度 | 估计、标准误、方法 | 图上点能否复算 |
| 状态 | 计划、进行、完成、取消 | 截止日应有结果吗 |
| 可得性 | 整份报告与目标结局分列 | 实际缺哪类证据 |
| 解释 | 设计差异、报告记录、未知项 | 哪项资料可区分机制 |
登记更新、完成报告出现、结局定义改变或找到漏检报告,都应触发重查。保留未解决项,没有证据就不归因动机。最终结论具体说明观察到的小研究差异和报告缺口,而不是声称一个形状已经数清全部缺失研究,或证明某位研究者为何没有报告。
常见问题
漏斗对称能证明没有报告偏差吗?
不能。有些缺失机制不会留下明显不对称,研究较少时尤其难判断。
漏斗不对称能数出被压下几项研究吗?
不能。核实数量需要独立研究记录;统计调整仍依赖模型假设。