跳到正文

研究指南

AI 辅助证据核对

样本筛选:记录每道条件排除了谁

数据样本由每一道资格与清洗条件塑造,不只是第一份公司名单。让AI把结果写成有代表性之前,应记录每一步排除了谁。数字表再完整,如果隐藏了选择过程,也可能正好漏掉研究最关心的群体。

美国人口普查局SUSB方法说明列出特定企业统计项目的覆盖与排除,说明数据总体应从方法文件核对。它不替本文公司筛选规则背书,研究者仍需解释自己的选择。

先写目标,再设过滤条件

固定总体、时期、观察单位和问题。研究所有合格公司,不同于研究连续三期报告都可读取的公司。后一种样本可以有用,但资料可得要求改变了总体,应在结论中直接命名,不能仍声称覆盖所有公司。

按执行顺序列出身份匹配、文件可得、数字完整、单位相容和分析排除等规则,保存每阶段前后成员。一个实体可能同时失败多条条件,保留全部原因,同时为计数桥指定主要移除阶段,避免人数重复相减。

不能让AI在提取中隐含新增筛选。模型可能只返回容易读的行,省略歧义表格。提取失败是处理结果,不是公司不满足经济条件的证据。技术便利不能悄悄成为未披露样本规则,否则流程看起来自动化,实际选择却无法解释。

假设案例:样本逐步缩小

假设虚构目标总体有二百家公司。身份匹配留下百九十,连续三份报告要求留下百五十,指标定义相容留下百二十,最后完整性条件留下九十。分析覆盖原始总体百分之四十五,不能说覆盖全部二百家。

若报告可得阶段失去的四十家多数是新进入者,最终样本就偏向历史较长企业。这不证明估计偏差方向已知,却限制对所有新旧企业的推广。应报告关联模式,而不是只展示最终样本量。

改成允许两份报告后,样本和结果可能变化。将它报告为口径比较,不选择最符合偏好结论的一版。所有数量均为假设,没有声称做过真实筛选实验或得到实证结论。

样本漏斗工作表

阶段剩余数量核对问题
目标总体200成员与问题一致吗
身份解决190谁匹配失败及原因
报告可得150可得性与企业类型有关吗
指标相容120哪些定义造成排除
单元格完整90缺失是否集中于特定群体

每阶段同时计算占原始总体比例和相对前阶段流失比例,两者分母不同。保留行级审计文件,才能复现瀑布图,也能在修复处理错误后恢复公司。若只保留汇总数量,就难以查明某公司在哪一步被删除。

调查选择机制

可用双方都具备的历史变量比较纳入与排除群体,例如按明确定义的年龄、规模或市场。不能用只对幸存样本提取成功的特征比较总体,否则再次选择。排除群体没有资料时,应如实说明,不能默认相似。

权重也不是自动补救。权重需要可解释目标和覆盖假设,不能创造未观察结果。若最终样本对原问题过于选择,应把结论收窄到已分析总体,或者重新设计收集步骤,而不是用一个加权公式掩盖缺口。

最终备忘录应列出目标、最终样本、主要流失阶段及关键过滤敏感性。AI可在漏斗建立后总结,却不能因为保留行内部一致,就把结果命名为有代表性。可复现的排除轨迹,让读者判断结论究竟适用于谁。

常见问题

最终样本很大就一定有代表性吗?

不是。除数量外,还需要看选择机制和被排除群体。

读不出的表格可以当作经济排除吗?

不应。应单列处理失败,并调查改进提取后是否改变样本。

相关阅读