相关性与因果关系:区分观察、干预与反事实
相关描述变量共同变化;因果问题问如果主动改变 X,Y 会怎样。P(Y|X=x) 是观察到 X 的条件分布,P(Y|do(X=x)) 表达干预。两者只有在特定假设下相等。
一、相关系数的含义
Pearson 相关:r = Σ((x_i-x̄)(y_i-ȳ)) / sqrt(Σ(x_i-x̄)^2 Σ(y_i-ȳ)^2),范围 [-1,1],主要描述线性关系。
r 接近 0 不代表没有非线性关系;r 高不代表因果;离群点可主导 r;时间趋势可制造伪相关。报告散点、样本、区间和数据生成过程。
Spearman 相关基于秩,适合单调非线性或对极值更稳健,但仍不提供因果。
二、因果效应与反事实
个体同时接受和不接受处理的两个结果不能都观察。平均处理效应 ATE = E[Y(1)-Y(0)] 比较同一目标总体的潜在结果。随机分配使两组在期望上可比,从未处理组估计处理组的反事实。
效果要明确 estimand:意向处理 ITT 按 assignment 比较;实际处理效果需要额外依从性假设。产品实验通常优先 ITT,因为 assignment 可控且避免按实验后行为选择。
三、常见混杂结构
graph LR
U["用户意愿 U"] --> X["开启通知 X"]
U --> Y["留存 Y"]
X --> Y观察到开启通知者留存高,可能因高意愿 U 同时导致开启和留存。直接控制实验后的点击或活跃也可能引入偏差。
其他结构:
- 中介:X→M→Y,控制 M 会删除部分总效应。
- 碰撞点:X→C←Y,按 C 筛选会制造关联。
- 选择偏差:样本进入条件受 X/Y 影响。
- 反向因果:Y 影响 X,例如高意愿用户更常用功能。
四、DAG 的作用
DAG 编码方向和缺失边的因果假设。它帮助决定调整哪些前置变量、哪些中介不能控制、哪些碰撞点不能条件化。图不能从数据自动证明;团队要用领域知识、时间顺序和制度机制评审。
一个调整集若阻断所有 backdoor path 且不包含后代,可在假设成立时识别效应。未测量混杂会破坏结论。
五、随机实验
设计包括目标总体、单位、assignment、exposure、主要指标、护栏、样本、窗口和停止规则。
随机化后检查 SRM 和前置协变量平衡。SRM 可能来自分桶、资格、日志、机器人或跨设备,不可忽略后继续解释。
实验中途反复看 p 值并随时停止会改变错误率;使用预设固定样本或有效 sequential 方法。多个指标/分群需控制多重比较或标记探索。
六、案例一:通知与留存
观察
开启通知用户 28 日留存 60%,未开启 30%。不能得出通知提高 30 点,因为高意愿、平台权限和设备状态混杂。
DAG
用户意愿→开启通知;意愿→留存;设备平台→授权成功;平台→留存;通知→回访→留存。
实验
不能强制系统授权,但可随机化在合格时机展示价值说明。assignment 单位为用户,主要 estimand 是提示策略对 28 日留存的 ITT。过程指标是授权成功和通知点击,护栏是关闭通知、退订和投诉。
结果
control 20,000 中 6,000 留存(30%);treatment 20,100 中 6,633(33%)。绝对 +3 点,relative +10%。需要比例差区间和 SRM 检查。
授权率提升 8 点是机制证据,但提示可能通过其他路径影响留存。若按“实际授权者”比较,会重新引入自选择。
外推
实验只包含允许通知且看到提示的目标用户。不能外推到未安装 app、未成年人或不同地区。长期频率增加需另实验。
七、案例二:折扣与客单价
观察
使用优惠券订单平均客单 320 元,未使用 180 元。优惠券有满 300 门槛,且高消费用户更可能领取。相关不代表发券增加 140 元。
回归陷阱
控制最终订单金额中的“是否达到300”是处理与结果紧密相关选择;只看完成订单还会忽略折扣可能改变购买概率。目标应是每个合格用户收入/利润,而非已购买者客单。
随机实验
在实验前合格用户中随机发券。主要指标为用户 14 日贡献毛利;次要为购买率、订单金额;护栏为退款、补贴、囤券和长期价格敏感。
结果解释
发券提高购买率 4 点、每买家客单 20 元,但每用户毛利下降 2 元。若目标是毛利,不应只宣传客单上涨。
干扰
用户分享券或同一家庭多账户会跨组污染;商家库存和价格也可能受全局发券影响,违反无干扰假设。可按市场/地区 cluster 随机,但有效样本取决于 cluster 数和组内相关。
八、观察研究
无法随机时可以使用回归调整、matching、差分中的差分、断点或工具变量,但每种依赖特定假设。
Difference-in-Differences
比较处理组和对照组变化差:(Y_T,after-Y_T,before) - (Y_C,after-Y_C,before)。关键是若无处理,趋势应平行。用处理前多期检查但无法完全证明。
Regression discontinuity
处理由阈值决定,在阈值附近比较。需要主体不能精确操纵 running variable,效果只对阈值附近局部有效。
Matching/回归
只能调整已测量、正确建模的混杂。高预测准确率不保证无偏因果。敏感性分析说明未观测混杂多强会推翻。
九、SQL 相关分析的边界
SELECT corr(push_opt_in::int, retained_28d::int) AS observed_corr,
COUNT(*) AS users
FROM user_cohort
WHERE acquisition_date < CURRENT_DATE - INTERVAL '28 day';这只计算成熟 cohort 的点二列相关,不是通知因果效应。还需散点/分层/实验。二元变量相关受基率影响。
实验估计:
SELECT assignment,
COUNT(*) AS n,
AVG(retained_28d::int) AS retention
FROM experiment_units
WHERE experiment_id = :id AND mature_28d
GROUP BY assignment;查询还需按 assignment 时资格、一次随机单位和 ITT 保留,不能排除“未暴露”而引入 post-treatment selection。
十、置信区间与实际意义
95% 置信区间描述重复抽样程序长期覆盖,不是“真实效应有95%概率在此区间”的频率学解释。
统计显著不等于实际重要。预先定义最小有意义效应和护栏。样本巨大时微小差异也显著;样本小时无显著不能证明零效果。
十一、异质性
平均效应可能掩盖群体差异。预先指定少量基于处理前属性的分群;报告每群样本、区间和交互,而不是只挑显著群。
根据处理后使用行为分群会产生偏差。个性化策略需要独立验证和公平性评审。
十二、数据质量与实验完整性
检查 assignment 唯一、比例、曝光日志、跨组、机器人、缺失结果、迟到、版本和 sample attrition。结果缺失若与处理相关会偏倚。
实验平台故障时结论标记 invalid,不因为结果看起来好而继续。保留查询、assignment 版本、as-of 和排除。
十三、两比例差示例
通知实验 control 6000/20000=30%,treatment 6633/20100=33%,差3点。近似标准误 sqrt(.3*.7/20000+.33*.67/20100)≈0.00464,95%区间约2.09–3.91点。
近似依赖独立单位和大样本。家庭共享、cluster 分配或差异缺失需调整;区间不修复SRM。
十四、聚类与干扰
社交、市场和团队产品中一个单位处理会影响另一个,SUTVA/无干扰不成立。可按工作区、学校或地区随机,有效样本更接近cluster数。
全局价格、库存和网络效应可用switchback/地域设计,但需写稳定性、滞后和跨区污染假设。
十五、中介与总效应
通知→点击→留存中点击是中介。控制点击会删除通过点击发生的效应并产生选择。ITT估总效应;中介分析需要更强假设。
机制指标用于解释,不能按是否点击筛选后比较留存。
十六、敏感性与负控
观察研究说明未测混杂多强会推翻结论。处理前趋势、伪处理日期、不可能受影响 outcome 和负控 exposure 可发现偏差,但通过不证明无偏。
十七、时间序列
共同上升趋势制造高相关。先画季节和变点;发布与节假日同刻时 before/after 不可识别。差分改变了问题,也需解释。
十八、常见错误
| 错误 | 修正 |
|---|---|
| 相关高就因果 | 写 DAG/实验 |
| 控制所有变量 | 避免中介和碰撞点 |
| 只看实际使用者 | ITT 或明确依从性方法 |
| 只看购买订单 | 回到合格用户分母 |
| p<0.05 就发布 | 看效应、区间、护栏 |
| 无显著=无效果 | 报可排除范围 |
| 分群后找故事 | 预注册/新样本验证 |
十九、综合练习
选择一个“使用功能者留存更高”的观察,画 DAG 并设计识别策略。
验收标准
- [ ] 区分 P(Y|X) 与 P(Y|do(X))。
- [ ] DAG 包含至少一个混杂、中介或碰撞点。
- [ ] estimand、目标总体和单位明确。
- [ ] 实验检查 SRM、污染和结果缺失。
- [ ] SQL 按 assignment 做 ITT。
- [ ] 报告绝对效应、相对效应、区间和护栏。
- [ ] 外推与未测混杂边界明确。
二十、缺失结果与流失
实验处理可能改变结果是否可观察。例如 treatment 让用户卸载,客户端留存事件缺失;只分析有事件者会偏。使用服务端或独立来源确定结果,并按 assignment 报缺失率。
若结果缺失与处理和潜在结果有关,简单完整案例分析无偏假设不成立。报告上下界或敏感性,不把缺失当失败/成功随意填充。
二十一、非劣与护栏
有时目标是过程改善且关键质量不劣于阈值。非劣界限必须预先基于实际容忍度,不能看到负向结果后设置。
多个护栏同时检验要考虑整体决策规则。严重安全事件可作零容忍停止,不依赖统计显著;常规延迟/退订用区间和预设界限。
二十二、差分中的差分实例
地区 A 上线新客服入口,地区 B 未上线。上线前解决率 A=60%、B=65%;上线后 A=72%、B=69%。DiD=(72-60)-(69-65)=8 点。
8 点只有在没有处理时 A 与 B 会保持平行趋势等假设下可解释。检查多期处理前趋势、同期其他政策、群组成和测量变化。效果只对应已观察地区和时期。
二十三、因果结论语言
- 描述性:“开启通知者留存高30点。”
- 调整后关联:“控制已测前置属性后差8点。”
- 随机实验:“提示策略的ITT使目标人群28日留存提高3点。”
- 观察因果:“在DAG、无未测混杂和模型假设下估计效应为…。”
语言强度匹配识别设计。不要用“驱动、导致”描述普通切片相关,也不要因方法复杂就隐藏假设。
二十四、可复现因果分析
保存 DAG 版本、estimand、纳入标准、调整集、查询 commit、as-of、缺失处理和敏感性结果。改变 DAG 或调整集会改变问题,应作为新分析版本而非覆盖旧结果。
产品决策记录同时列估计、不确定性、识别假设、外推总体和未解决风险。复杂模型不能替代清晰问题。
来源
- Causal Diagrams for Empirical Research(访问日期:2026-07-18)
- Pearl:A Causal Calculus for Statistical Research(访问日期:2026-07-18)
- NIST:Correlation Confidence Limits(访问日期:2026-07-18)
- eBay:Randomization Validation and SRM Detection(访问日期:2026-07-18)
- Google:Overlapping Experiment Infrastructure(访问日期:2026-07-18)