小样本比例：在发生率旁边展示区间不确定性
审计样本小时，即使观察错误率很低，仍可能非常不确定。二十项检查有一项失败，直接报告总体错误率精确为5%，会隐藏抽样不确定性。应在分子分母旁展示区间及抽样设计。
NIST比例置信限资料给出Wilson区间构造。本文用于假设二元文档检查，不会把人工挑选参考集变成所有未来任务的随机样本。
定义试验和目标概率
记录合资格总体、抽样方法、通过失败标准和独立单位。一份文档的多个字段可能共同出错，不能自动当作许多独立试验来扩大有效样本量。
二项模型假设n个独立试验，具有共同失败概率p和固定评分规则。观察比例p帽＝x÷n。以该比例为中心的普通正态近似，在接近零一及小样本时可能表现不好。
两侧Wilson区间选择所需置信水平的正态临界值z，令D＝1＋z平方÷n；中心＝(p帽＋z平方÷2n)÷D；半宽＝z×根号[p帽(1−p帽)÷n＋z平方÷(4n平方)]÷D。上下端点为中心减加半宽。
假设案例：二十份文档错一份
假设从定义清楚的可比总体随机抽取二十份虚构文档，并独立评分，一份失败。取z＝1.96构造名义95%两侧区间：p帽为0.05，D为1.19208，中心约0.12251，半宽约0.11363。
| 审计结果 | 假设估计 |
|---|---|
| 观察失败 | 二十份中一份 |
| 点比例 | 5% |
| Wilson下端点 | 约0.89% |
| Wilson上端点 | 约23.61% |
区间很宽，也不围绕观察5%对称，这不是需要平滑掉的缺陷，而是模型下信息有限。多显示几位小数不会增加样本证据。
再假设二十份零失败，也不证明总体率为零。95%两侧Wilson上端点为z平方÷(n＋z平方)，约16.11%。如果问题改成零失败后的精确单侧95%二项上界，则为1−0.05的(1÷20)次方，约13.91%。方法和侧数不同，不是互相矛盾。
让推断对应抽样方式
区间处理假设下的抽样波动，不解决系统选择和评分错误。只挑简单文档，不能估计复杂文档错误率。总体很小且不放回抽样时，还要检查二项近似是否适合设计。
未解决评分单列。把模糊项全部当通过，会改变结果定义，不是只影响算术。失败标准改变后，需要重新评分或分开报告，而非继续使用原x。
说明区间是否在反复看结果前就规定。一直抽查到上界好看为止，涉及另一个停止规则问题。固定样本区间不会在任意反复挑选下自动保持有效。
最终记录x、n、抽样框、区间方法、置信水平、单侧双侧及排除项目。工作流、总体或评分规则变化后复查。它只支持指定总体上的有限估计，不认证每次未来回答。
报告“低于某容忍率”时，应先确定决定依据是点估计还是相应上界。观察5%并不意味着有足够证据断言真实率低于10%；要对照预先规定的方法和阈值，而不能根据结果临时改成较容易满足的规则。
后续扩样应保存新旧抽样框，不能把新抽到的困难任务排除后仍声称同一随机总体。若同一文档重复进入抽样，应按设计判断是否重复，而不是当成新增独立成功。抽样单位、重复记录和未完成评分同时影响n，必须逐项调节。例子区间仅处理共同失败概率的二项模型；不同语言、格式和任务错误率差异很大时，可分层展示，并说明合并总体的权重，不能默认一个概率适合所有子组。若失败率主张涉及未来软件版本，本次固定版本抽检不能自动外推，应在版本变更后重新采样，核对新的适用总体。
常见问题
零失败证明没有错误吗？
不能。总体失败概率为正，有限样本也可能一次都没遇到。
方便挑选测试集能加置信区间吗？
公式可以计算，但总体推断需要可信抽样模型，诊断案例不能暗示随机代表性。