Skip to content

相关性与因果关系:区分观察、干预与反事实 ​

相关描述变量共同变化;因果问题问如果主动改变 X,Y 会怎样。P(Y|X=x) 是观察到 X 的条件分布,P(Y|do(X=x)) 表达干预。两者只有在特定假设下相等。

一、相关系数的含义 ​

Pearson 相关:r = Σ((x_i-x̄)(y_i-ȳ)) / sqrt(Σ(x_i-x̄)^2 Σ(y_i-ȳ)^2),范围 [-1,1],主要描述线性关系。

r 接近 0 不代表没有非线性关系;r 高不代表因果;离群点可主导 r;时间趋势可制造伪相关。报告散点、样本、区间和数据生成过程。

Spearman 相关基于秩,适合单调非线性或对极值更稳健,但仍不提供因果。

二、因果效应与反事实 ​

个体同时接受和不接受处理的两个结果不能都观察。平均处理效应 ATE = E[Y(1)-Y(0)] 比较同一目标总体的潜在结果。随机分配使两组在期望上可比,从未处理组估计处理组的反事实。

效果要明确 estimand:意向处理 ITT 按 assignment 比较;实际处理效果需要额外依从性假设。产品实验通常优先 ITT,因为 assignment 可控且避免按实验后行为选择。

三、常见混杂结构 ​

mermaid
graph LR
    U["用户意愿 U"] --> X["开启通知 X"]
    U --> Y["留存 Y"]
    X --> Y

观察到开启通知者留存高,可能因高意愿 U 同时导致开启和留存。直接控制实验后的点击或活跃也可能引入偏差。

其他结构:

  • 中介:X→M→Y,控制 M 会删除部分总效应。
  • 碰撞点:X→C←Y,按 C 筛选会制造关联。
  • 选择偏差:样本进入条件受 X/Y 影响。
  • 反向因果:Y 影响 X,例如高意愿用户更常用功能。

四、DAG 的作用 ​

DAG 编码方向和缺失边的因果假设。它帮助决定调整哪些前置变量、哪些中介不能控制、哪些碰撞点不能条件化。图不能从数据自动证明;团队要用领域知识、时间顺序和制度机制评审。

一个调整集若阻断所有 backdoor path 且不包含后代,可在假设成立时识别效应。未测量混杂会破坏结论。

五、随机实验 ​

设计包括目标总体、单位、assignment、exposure、主要指标、护栏、样本、窗口和停止规则。

随机化后检查 SRM 和前置协变量平衡。SRM 可能来自分桶、资格、日志、机器人或跨设备,不可忽略后继续解释。

实验中途反复看 p 值并随时停止会改变错误率;使用预设固定样本或有效 sequential 方法。多个指标/分群需控制多重比较或标记探索。

六、案例一:通知与留存 ​

观察 ​

开启通知用户 28 日留存 60%,未开启 30%。不能得出通知提高 30 点,因为高意愿、平台权限和设备状态混杂。

DAG ​

用户意愿→开启通知;意愿→留存;设备平台→授权成功;平台→留存;通知→回访→留存。

实验 ​

不能强制系统授权,但可随机化在合格时机展示价值说明。assignment 单位为用户,主要 estimand 是提示策略对 28 日留存的 ITT。过程指标是授权成功和通知点击,护栏是关闭通知、退订和投诉。

结果 ​

control 20,000 中 6,000 留存(30%);treatment 20,100 中 6,633(33%)。绝对 +3 点,relative +10%。需要比例差区间和 SRM 检查。

授权率提升 8 点是机制证据,但提示可能通过其他路径影响留存。若按“实际授权者”比较,会重新引入自选择。

外推 ​

实验只包含允许通知且看到提示的目标用户。不能外推到未安装 app、未成年人或不同地区。长期频率增加需另实验。

七、案例二:折扣与客单价 ​

观察 ​

使用优惠券订单平均客单 320 元,未使用 180 元。优惠券有满 300 门槛,且高消费用户更可能领取。相关不代表发券增加 140 元。

回归陷阱 ​

控制最终订单金额中的“是否达到300”是处理与结果紧密相关选择;只看完成订单还会忽略折扣可能改变购买概率。目标应是每个合格用户收入/利润,而非已购买者客单。

随机实验 ​

在实验前合格用户中随机发券。主要指标为用户 14 日贡献毛利;次要为购买率、订单金额;护栏为退款、补贴、囤券和长期价格敏感。

结果解释 ​

发券提高购买率 4 点、每买家客单 20 元,但每用户毛利下降 2 元。若目标是毛利,不应只宣传客单上涨。

干扰 ​

用户分享券或同一家庭多账户会跨组污染;商家库存和价格也可能受全局发券影响,违反无干扰假设。可按市场/地区 cluster 随机,但有效样本取决于 cluster 数和组内相关。

八、观察研究 ​

无法随机时可以使用回归调整、matching、差分中的差分、断点或工具变量,但每种依赖特定假设。

Difference-in-Differences ​

比较处理组和对照组变化差:(Y_T,after-Y_T,before) - (Y_C,after-Y_C,before)。关键是若无处理,趋势应平行。用处理前多期检查但无法完全证明。

Regression discontinuity ​

处理由阈值决定,在阈值附近比较。需要主体不能精确操纵 running variable,效果只对阈值附近局部有效。

Matching/回归 ​

只能调整已测量、正确建模的混杂。高预测准确率不保证无偏因果。敏感性分析说明未观测混杂多强会推翻。

九、SQL 相关分析的边界 ​

sql
SELECT corr(push_opt_in::int, retained_28d::int) AS observed_corr,
       COUNT(*) AS users
FROM user_cohort
WHERE acquisition_date < CURRENT_DATE - INTERVAL '28 day';

这只计算成熟 cohort 的点二列相关,不是通知因果效应。还需散点/分层/实验。二元变量相关受基率影响。

实验估计:

sql
SELECT assignment,
       COUNT(*) AS n,
       AVG(retained_28d::int) AS retention
FROM experiment_units
WHERE experiment_id = :id AND mature_28d
GROUP BY assignment;

查询还需按 assignment 时资格、一次随机单位和 ITT 保留,不能排除“未暴露”而引入 post-treatment selection。

十、置信区间与实际意义 ​

95% 置信区间描述重复抽样程序长期覆盖,不是“真实效应有95%概率在此区间”的频率学解释。

统计显著不等于实际重要。预先定义最小有意义效应和护栏。样本巨大时微小差异也显著;样本小时无显著不能证明零效果。

十一、异质性 ​

平均效应可能掩盖群体差异。预先指定少量基于处理前属性的分群;报告每群样本、区间和交互,而不是只挑显著群。

根据处理后使用行为分群会产生偏差。个性化策略需要独立验证和公平性评审。

十二、数据质量与实验完整性 ​

检查 assignment 唯一、比例、曝光日志、跨组、机器人、缺失结果、迟到、版本和 sample attrition。结果缺失若与处理相关会偏倚。

实验平台故障时结论标记 invalid,不因为结果看起来好而继续。保留查询、assignment 版本、as-of 和排除。

十三、两比例差示例 ​

通知实验 control 6000/20000=30%,treatment 6633/20100=33%,差3点。近似标准误 sqrt(.3*.7/20000+.33*.67/20100)≈0.00464,95%区间约2.09–3.91点。

近似依赖独立单位和大样本。家庭共享、cluster 分配或差异缺失需调整;区间不修复SRM。

十四、聚类与干扰 ​

社交、市场和团队产品中一个单位处理会影响另一个,SUTVA/无干扰不成立。可按工作区、学校或地区随机,有效样本更接近cluster数。

全局价格、库存和网络效应可用switchback/地域设计,但需写稳定性、滞后和跨区污染假设。

十五、中介与总效应 ​

通知→点击→留存中点击是中介。控制点击会删除通过点击发生的效应并产生选择。ITT估总效应;中介分析需要更强假设。

机制指标用于解释,不能按是否点击筛选后比较留存。

十六、敏感性与负控 ​

观察研究说明未测混杂多强会推翻结论。处理前趋势、伪处理日期、不可能受影响 outcome 和负控 exposure 可发现偏差,但通过不证明无偏。

十七、时间序列 ​

共同上升趋势制造高相关。先画季节和变点;发布与节假日同刻时 before/after 不可识别。差分改变了问题,也需解释。

十八、常见错误 ​

错误修正
相关高就因果写 DAG/实验
控制所有变量避免中介和碰撞点
只看实际使用者ITT 或明确依从性方法
只看购买订单回到合格用户分母
p<0.05 就发布看效应、区间、护栏
无显著=无效果报可排除范围
分群后找故事预注册/新样本验证

十九、综合练习 ​

选择一个“使用功能者留存更高”的观察,画 DAG 并设计识别策略。

验收标准 ​

  • [ ] 区分 P(Y|X) 与 P(Y|do(X))。
  • [ ] DAG 包含至少一个混杂、中介或碰撞点。
  • [ ] estimand、目标总体和单位明确。
  • [ ] 实验检查 SRM、污染和结果缺失。
  • [ ] SQL 按 assignment 做 ITT。
  • [ ] 报告绝对效应、相对效应、区间和护栏。
  • [ ] 外推与未测混杂边界明确。

二十、缺失结果与流失 ​

实验处理可能改变结果是否可观察。例如 treatment 让用户卸载,客户端留存事件缺失;只分析有事件者会偏。使用服务端或独立来源确定结果,并按 assignment 报缺失率。

若结果缺失与处理和潜在结果有关,简单完整案例分析无偏假设不成立。报告上下界或敏感性,不把缺失当失败/成功随意填充。

二十一、非劣与护栏 ​

有时目标是过程改善且关键质量不劣于阈值。非劣界限必须预先基于实际容忍度,不能看到负向结果后设置。

多个护栏同时检验要考虑整体决策规则。严重安全事件可作零容忍停止,不依赖统计显著;常规延迟/退订用区间和预设界限。

二十二、差分中的差分实例 ​

地区 A 上线新客服入口,地区 B 未上线。上线前解决率 A=60%、B=65%;上线后 A=72%、B=69%。DiD=(72-60)-(69-65)=8 点。

8 点只有在没有处理时 A 与 B 会保持平行趋势等假设下可解释。检查多期处理前趋势、同期其他政策、群组成和测量变化。效果只对应已观察地区和时期。

二十三、因果结论语言 ​

  • 描述性:“开启通知者留存高30点。”
  • 调整后关联:“控制已测前置属性后差8点。”
  • 随机实验:“提示策略的ITT使目标人群28日留存提高3点。”
  • 观察因果:“在DAG、无未测混杂和模型假设下估计效应为…。”

语言强度匹配识别设计。不要用“驱动、导致”描述普通切片相关,也不要因方法复杂就隐藏假设。

二十四、可复现因果分析 ​

保存 DAG 版本、estimand、纳入标准、调整集、查询 commit、as-of、缺失处理和敏感性结果。改变 DAG 或调整集会改变问题,应作为新分析版本而非覆盖旧结果。

产品决策记录同时列估计、不确定性、识别假设、外推总体和未解决风险。复杂模型不能替代清晰问题。

来源 ​

从前端走向软件产品工程的长期路线图。