多重检验：把最佳结果背后的全部问题列出来
研究中最小的p值，不会告诉读者一共试了多少次才找到异常结果。发布最佳发现之前，应把完整检验家族列出来，否则广泛搜索可能被包装成一次决定性检验。
R的p.adjust文档介绍不同调整及其错误控制目标。方法名称不能替代有效单项检验和诚实家族定义。下文使用假设p值，不是市场收益发现。
先定义家族和错误目标
列出参与主张选择的结果指标、子组、窗口和比较，未表现突出的也保留。只展示赢家，若未披露分析参与筛选，就不能完成可信多重校正。
家族错误率FWER关注家族至少一次错误拒绝的概率。错误发现率FDR关注所有拒绝中错误拒绝比例的期望，若没有拒绝，通常把比例定义为零。它不是某条结论为假的概率。
在看结果前按研究目的选目标。Bonferroni将有效p值与alpha÷m比较，可控制FWER，不需要独立。Benjamini-Hochberg在独立或特定正相关条件下控制FDR；任意依赖不能自动获得同样保证。
假设案例：四个检验
假设事先规定四项有效检验，排序p值为0.001、0.020、0.040、0.200，名义错误目标设0.05。
| 排名 | 原p值 | Bonferroni调整p | BH排名阈值 |
|---|---|---|---|
| 1 | 0.001 | 0.004 | 0.0125 |
| 2 | 0.020 | 0.080 | 0.0250 |
| 3 | 0.040 | 0.160 | 0.0375 |
| 4 | 0.200 | 0.800 | 0.0500 |
Bonferroni在0.05下只拒绝第一项。BH先找满足p[k]≤k×0.05÷4的最大排名k，再拒绝截至k的所有项。此处k＝2，在适用假设下拒绝前两项。不能逐行独立判断是否通过阈值，就说这已经是完整逐步上升程序。
差别不是一种方法证明另一种算错，它们控制不同错误目标。调整p值也不是效应大小，更不是假设为真的概率。
展示结果背后的搜索
为理解风险，假设二十项检验彼此独立，原假设全部为真，每项都用未调整0.05门槛，则至少拒绝一次的概率为1−0.95的20次方，约64.15%。独立与全部为真是本例必要条件，不能机械套到相关家族。
确认分析与探索分析分开。如果偶然子组提出有趣问题，应标为探索，再找新证据，不能伪装成原始假设。后续独立检查也需要真实独立样本或设计，不是把同一组筛中数据换个画法。
校正不能修复结果泄漏、错误标准误、未登记的口径搜索或错误标签。应先保证单项检验有效。对一个持续累积检验反复查看，还涉及停止规则，仅计同时测试的指标数未必解决。
交付记录应包含家族成员、原p值、调整方法、错误目标、假设及效应估计。家族扩大或发现遗漏分析时重算。可靠报告会保留问过的全部问题，不只赢家。
家族范围也不能只按文件数量决定。同一研究目标下把结果拆成多个表格，不会自动变成互不相关的独立家族；应说明哪些决策共同受到这些结果影响。若确有不同预先定义的问题，可以分开控制，但理由必须来自设计，而非结果是否容易通过。
实现时保留完整排序向量，调整后再连接回原假设标识。排序丢标签，可能把校正结果贴到错误主张。根据程序文档处理已经进行但未展示的检验，不能只校正入选项。还应保存失败运行或无有效结果的分析及其原因，避免把模型不收敛样本当作从未尝试。它们是否计入特定校正需要设计判断，但不能从研究过程记录中消失。还要区分未拒绝与证明无效应。调整后不显著不等于经济效应为零，原效应方向、尺度和单位仍需保留。
常见问题
FDR为5%表示每个发现95%可能正确吗？
不是。它在假设下控制期望错误发现比例，不是每条结论的后验概率。
校正可以让差的设计变有效吗？
不能。它依赖有效输入与合理家族，不修复选择偏差或无效不确定性计算。