聚类自助法:重抽真正独立的单位
自助法的不确定性取决于抽什么,不只取决于重复多少次。多行属于同一公司时,独立抽行会破坏设计需要保留的依赖。应先识别可能独立的单位,再选择重抽方案。
SciPy自助法说明介绍重抽、区间选项和配对索引处理。paired选项不会自动发现公司簇,聚类设计仍须明确抽取簇,并保留每个被抽实例的相关观测。
定义估计量与簇
目标是公司等权均值、行等权均值,还是加权总体数量,应先说明。公司提供不同记录数时,目标可能不同,重抽单位和统计量必须对应抽样设计。
简单单向聚类自助法假设原簇适当独立且具有代表性。按原簇数量有放回抽取标识,每次被抽中的簇携带相关行一起进入新数据,保留内部测量及必要时间顺序。
创建重抽实例标识。同一公司抽中两次,就贡献两个实例;若按原公司ID去重,会删除一次合法重复抽样。原身份用于追踪,实例身份用于构建本次数据,两者分开。
假设案例:三家公司各两行
假设虚构A公司观测为1和1,B为5和5,C为9和9。因大小相同,公司等权和行等权均值此处都为5。
| 公司 | 两个观测 | 公司均值 |
|---|---|---|
| A | 1、1 | 1 |
| B | 5、5 | 5 |
| C | 9、9 | 9 |
一次簇重抽得到A、A、C,对应行1、1、1、1、9、9,均值22÷6约3.6667。另一次A、C、C,对应1、1、9、9、9、9,均值38÷6约6.3333。
普通独立抽行可能取一行A、两行B、三行C,破坏两行一起出现的结构。本例公司内部完全依赖,若假装六行全独立,自助分布就会改变。
三公司例子只检查机制,不表示三簇足够形成可靠置信区间。计算重复几千次,也不会增加独立公司数量,或修复原样本缺乏代表性。
大小不同时保留估计目标
公司等权时,先计算每个被抽公司实例均值,再平均实例。行等权时,按对应估计量合并行。簇大小可能与结果相关,所以这是实质选择,不是简单软件优化。
公司内前后配对时,两侧一起携带,并在每次抽样中重算差值。两列独立抽会破坏匹配。公司比率也应保留相关分子分母,不能分别随机生成后相除。
记录随机数设置、重复次数、统计量、簇规则及区间方法。种子有助重现,不证明有效。增加重抽次数主要减少在既定数据与方案条件下的模拟噪声,不增加原始信息。
检查分布退化与不稳定,尤其簇少或权重极集中时。共同日期冲击会造成公司之间依赖,单向公司自助法仍可能遗漏重要不确定性。复杂依赖要有设计理由,不能只多加一个分组标签。
交付物是文档化抽样方案、一例可检查重抽及目标统计量。标识、簇、权重或面板结构变化后复查,不能把库函数返回的区间当成无条件保证。
原样本缺失状态也应随簇保留。若每次抽样都另行填补缺值,需说明是否把填补不确定性纳入,否则同一个重抽程序可能混入未记录模型假设。任何人工清洗都应在定义好的处理阶段执行,不能看区间是否好看再决定删哪家公司。
运行大量模拟前,先查看一次实际抽样:簇实例数、带入行、重复实例和最终统计量应与手算一致。零行簇或标识碰撞可能悄悄改变估计量,库函数却仍返回区间。检查通过后再增加重复次数;若区间退化,不应只更换种子直到看起来合理,而应调查样本结构与目标是否适合。
常见问题
paired=True自动就是聚类自助法吗?
不是。它保留数组间对应索引,簇仍需明确构造重抽。
更多重复能弥补公司太少吗?
不能。更多重复改善计算近似,不增加原始独立单位或代表性。