删失数据:低于阈值不等于零
“低于5”不是普通空格,它说明真实值位于阈值的一侧。把它改为零,会丢掉已有的区间信息,再增加一个没有依据的精确值。研究应保存不等式,并把范围传递到最终结果。
NIST关于删失的讨论使用可靠性测试:有些失效时间超过观察终点,属于右删失。下文披露阈值例子是区间原则的另一应用,不表示财务指标服从可靠性分布。
分开删失、缺失和截断
删失是观测项目存在,但精确数值只知道落在某范围。左删失可提供上阈值,右删失提供下阈值,区间删失给出两端。每项阈值分别保存,因为公司、期间或来源规则可能不同。
没有任何有据阈值的未知值,是缺失信息,不是被删失的零。截断又不同:规则外的观测可能整行不进入数据。删失行保留了一个分母位置,截断数据却可能连这些对象的数量都不知道。
状态、边界、严格性、单位和来源规则应与数值字段分开。“小于5”不等于“不超过5”。保密抑制单元格还可能遵循其他规则,没有说明就不能直接当成检测限。
假设案例:五项观测的均值
假设虚构数据有五项非负观测,两个精确值为8和12,另三个明确写为低于5。目标是五项等权平均。
| 输入组 | 数量 | 合计信息 |
|---|---|---|
| 精确值 | 2 | 8+12=20 |
| 低于5 | 3 | 至少0,严格小于15 |
| 全部 | 5 | 至少20,严格小于35 |
均值至少为4,且严格小于7。填零得到4,只是下边界,不是已知均值。每项填半阈值2.5得到5.5,但这是一种填补假设;仅凭区间,不能认为阈值下均匀分布。
如果可能存在负值,零下界就不成立;没有其他下限,就无法给有限下界。若一项只知道大于20,没有额外信息也不能给有限上界。边界是否有限,来自可行范围,而不是软件是否允许填数字。
选择与证据一致的方法
描述研究可以只提供边界,替代值情景则明确标注。精确、左删失、右删失数量与结果并列,不要把所有替换藏在同一数值列。
模型估计可以利用删失信息,但需要明确分布与观察过程假设。如果删失机制与未观察结果相关,方便的方法未必适用。不能因为出现大于号,就直接套某个生存模型名称,要说明目标变量和适用理由。
阈值跨期变化必须保留。低于限制的比例下降,可能是披露门槛降低,而非真实指标改善。应对齐规则,或者说明新规则如何改变结果可识别范围。
AI提取应同时返回原不等式与结构化状态。用小于号、脚注和扫描符号测试;丢掉一个符号,就可能把上边界变成精确测量。纠错后重算关联结果,并保留错误记录。
排序和分位数也会受区间影响。已知阈值可能足够确定某些项目的相对顺序,却不足以确定中位数精确值。不要把为均值设置的替代数,未经说明又拿去排名或做精确相关分析,这会让同一假设扩散到多个结论。
相同披露还可以对应不同精确均值:本例三个删失值若为1、1、1,全体均值4.6;若为4、4、4,则为6.4。两组都满足低于5,直接展示单一均值尚未识别,虽然观测数量已知。若某条记录完全没进入数据,而非保留为低于5,连分母也可能未知,这时不能继续套五项公式。阈值来源应保存原页码或表格位置。
常见问题
半阈值替代通常无偏吗?
不能保证。取决于未知值分布与观察机制,阈值本身不足以支持。
被抑制的单元格一定是删失吗?
不是。需要读取规则,可能给出区间、保密处理,或完全没有可用数值边界。