预测区间:把新个体与条件均值分开
回归可以很精确地估计某类文档的平均处理时间,同时仍然难以预测下一份文档的具体时间。两种输出可能有相同拟合中心,却必须有不同区间,因为新个体还带着自身未解释的变化,不能只算拟合均值的不确定度。
交付应是在明确解释变量取值处的两个条件区间:总体条件均值区间,以及一个新独立观测的预测区间。要保留解释变量位置、残差方差及尺度是否估计。不能把均值的窄区间直接贴给一家企业或一份文档,当作该个体结果的范围。
先定义条件目标与采样设计
采用简单线性模型Y=beta0+beta1 x+epsilon,包含截距。解释变量取值固定且无测量误差,误差独立、正态、均值零、方差恒定为sigma²。本文例子是研究流程完成时间,不是证券价格;未来观测来自同一过程,且新误差独立于训练数据。
NIST预测概述区分回归函数估计与新测量的不确定度;条件平均响应页和单个新响应页分别给出对应区间。下面的设计及数字自行构造,用于把两种目标算清,不是NIST原例的研究结果。
设n为25,解释变量均值为10,Sxx即各xi与10差的平方和为100,拟合线为yhat=30+2x。对请求点x0,定义h0=1/n+(x0−xbar)²/Sxx。
这个杠杆量描述解释变量位置如何影响拟合均值精度,不是概率或错误率。在样本解释变量均值处最小,远离中心就增加一项,即使仍在已观察范围内也是如此。若只报告总样本数而不保存Sxx,就无法复算位置差异。
先单独计算已知sigma的情况
假设误差尺度通过独立信息确实已知为10。回归系数仍由样本估计;已知尺度不代表已知真实回归线。此时条件均值标准误为10√h0,新观测减拟合值的误差标准差为10√(1+h0)。
新增的1代表新个体自身的残差方差,以sigma²为单位。由于新误差独立于拟合误差,两种方差相加。用舍入的百分之九十五正态临界值1.96,得到下表。
| 请求x0 | 拟合值 | h0 | 均值区间 | 新个体区间 |
|---|---|---|---|---|
| 10 | 50 | 0.04 | [46.080,53.920] | [30.012,69.988] |
| 15 | 60 | 0.29 | [49.445,70.555] | [37.739,82.261] |
x为10时,均值标准误10√0.04=2,半宽为3.92;新观测误差标准差10√1.04约10.198,半宽约19.988。同为中心50,不能使两个范围可以互换。
x为15时,h0=1/25+25/100=0.29,均值半宽增至10.555,新个体半宽增至22.261。这里残差SD仍假设恒定为10,增加的是拟合线在该位置的不确定度,并不是悄悄换了一个更大的残差尺度。
假设15确实在观察范围内,杠杆变化不需要借助外推才能出现。一个可复现的解释变量集合是5和15各一次,10−√(25/11)重复十一次,10+√(25/11)重复十一次,再加一个10。共25个数,均值10,Sxx为100。这只是使汇总值可实现的构造,不是最优实验设计建议。
估计尺度时使用正确t临界值
实际回归往往需要估计残差尺度。同样简单模型拟合两个系数,因此残差自由度为25−2=23。若残差平方和SSE为2300,则s=√(2300/23)=10。
正态误差模型的通常区间此时使用23自由度t分布第九十七点五百分位,约2.068658,而非1.96。均值区间为yhat加减t23乘s√h0;新个体区间为yhat加减t23乘s√(1+h0)。
x为10时,均值半宽约4.137,预测半宽约21.096,对应区间约[45.863,54.137]与[28.904,71.096]。尺度数值同样是10,其证据地位已经改变:现在由23个残差自由度估计,不是外部独立已知。
自由度应来自实际模型,不能习惯性填25或24。增加参数、改变方差模型或估计方法,都可能改变计算。软件输出写了confidence或prediction还不够,应先用这种小例核对目标、是否含截距以及尺度处理,避免选错输出后仅修改列标题。
更多数据缩小哪一部分
若增加独立观测且设计持续覆盖目标x,条件均值不确定度可以下降;新个体仍保留自身残差。已知sigma的例子中,当h0接近零,新观测百分之九十五半宽趋近1.96乘10,即19.6,而非零。
因此,将√(1+h0)错换成√h0,在平均估计越来越精确时可能越来越误导。更多训练数据不会把天然有变化的新文档变成确定结果,它改善的是规定条件下平均值的知识。
这里也不是所有文档的无条件总体均值,x0是固定的。如果解释变量本身测不准,或未来文档的大小也未知,这些公式还遗漏了另外的输入不确定度。要先记录读到的x,以及它希望代表的潜在量,再解释条件输出。
公式能算不等于覆盖得到保证
观察域外仍能代入公式得到有限区间,却不能由此验证直线在那里成立。如果超长文档处理时间改变机制,放大杠杆项也修不好错误的均值函数。外推之前,应先检查数据支持范围和实际流程机制,而不是只看软件是否成功返回数字。
重尾、方差随水平变化或误差随时间相关,也会挑战独立正态恒方差模型。稳健系数标准误本身并不提供新个体的预测残差分布。若新案例与训练数据共享冲击,还需处理协方差,独立新误差直接相加的步骤不再自动成立。
实际使用时,应在代表目标条件的真正留出案例中评估预测,按解释变量水平及时期记录误差。小验证集的覆盖比例仍很不精确,不能因几次都落在区间内就认证总体覆盖。对个体预测,应核对个体预测区间,不能拿个体是否进入均值区间当作相同事件。
保留两种目标的审计表
| 项目 | 保存输入 | 未解决时的处理 |
|---|---|---|
| 目标 | 条件均值或单个新观测 | 暂缓含糊区间 |
| 设计 | n、x均值、Sxx、观察域 | 补齐输入再复算 |
| 拟合 | 系数、残差诊断、版本 | 评估模型错误 |
| 尺度 | 已知sigma或估计s、SSE、自由度 | 不混用z与t情况 |
| 新个体条件 | 独立性、过程可比性 | 补协方差或修订模型 |
| 验证 | 留出误差及条件覆盖 | 明列应用证据局限 |
软件结果冲突,先查一方是否输出均值区间、另一方输出预测区间,再查截距、x单位和残差自由度。保留全精度中间值,只在最终展示时舍入,不用展示后的数字反算唯一原始结果。
新案例暴露方差变化、解释变量纠正改变杠杆、结果定义变化或新模型替换旧模型,都应触发更新。保留原预测与日期,后来的观测才能检验当时实际声称了什么。把条件均值与新个体分开,是让后续评估可复核的前提。
未来多个个体的均值是第三种目标
假设实际交付不是单个新文档,也不是总体条件均值,而是四份未来独立文档的平均时间,四份都在x为10的位置。仍用已知sigma模型,未来均值自身残差方差为sigma²除以4,所以相对拟合均值的误差方差为sigma²乘(h0+1/4),不是sigma²乘(1+h0)再整体除以4。
h0为0.04时,百分之九十五半宽为1.96乘10乘√(0.04+0.25),约10.555,中心50对应[39.445,60.555]。四个预测共享同一条估计回归线的误差,平均未来残差不会把这部分共同误差也缩小四倍。
这个范围比单个新观测窄,却比总体条件均值区间宽。若实际使用这种目标,应明确命名,不能只标“平均预测”让读者自行猜测。四次复制同一案例或共享未建模冲击的四份文档,也不能视作此处假设的独立未来观测。
同理,若目标是测得的处理时间,而计时工具本身还增加独立误差,该误差属于可观察新结果的一部分;若目标改成去掉计时误差的潜在时间,就需要额外测量模型。原来的残差方差可能已经包含多种来源,不能既在残差里计算一次,又在预测时重复加入一次。
在需求记录中,应直接写出将来观察什么、观察几次、是否平均、是否共享环境。先把这些目标固定,再选择公式,比从软件菜单挑一个最窄区间更可靠。这样运营方才能知道区间适用于一份文档、四份均值还是人口平均,也能为后来检验覆盖准备相应观测单位。
每次输出都应把目标标签与区间一起保存,不能只放在另一个方法说明文件里。数值被导出后,最容易丢失“单个还是平均”的含义。后来检查覆盖时必须按原标签和观察单位匹配;结果出来后才改称另一种目标,会破坏对原预测的检验,也使后续团队无法判断改进究竟来自模型还是重新命名。
常见问题
为什么两种区间中心相同?
模型拟合值相同,但新个体增加自身残差不确定度;决定宽度的是目标,而不是中心。
百分之九十五均值区间可以直接用于新个体吗?
本例不可以。新个体需包含额外残差项,并按尺度已知或估计选择相应临界值。