根据数据提出产品假设:从模式到可区分预测
数据可以暴露模式和异常,但不会自动给出原因或方案。产品假设需要明确机制、目标主体、干预、预期结果、替代解释和能区分解释的证据。
一、观察、解释、干预分开
观察:移动搜索零结果率从 8% 升到 14%。解释候选:词库覆盖下降、事件重复、流量来源改变、拼写差异、索引延迟。干预候选:纠错、同义词、索引修复、来源引导。
直接从“零结果升高”跳到“做 AI 搜索”把解释和方案绑死。先验证口径与数据,再列可证伪解释。
二、假设最小结构
对于 [目标主体/场景],
如果 [可控制干预],
那么 [主指标] 会在 [窗口] 内 [方向和最小实际变化],
因为 [机制];
同时 [护栏] 不越界。
如果看到 [区分证据],则支持/反驳该机制。“提升转化”没有分母、基线、窗口和机制,不是可执行假设。
三、先验证数据生成过程
检查事件 schema、版本、重复、缺失、identity、时区、成熟度、客户端/服务端差异和流量组成。数据异常可能是产品变化,也可能是测量变化。
建立异常时间线:指标何时改变、哪个事件/维度先变、是否与发布/营销/数据管线同刻、原始业务记录是否一致。
四、提出互斥预测
多个解释若预测相同结果,现有数据无法区分。
| 解释 | 可区分预测 | 验证 |
|---|---|---|
| 索引延迟 | 新上架商品、发布后短窗口更严重 | 关联商品更新时间和索引时间 |
| 拼写问题 | 编辑距离近的查询占比升高 | 离线查询集与纠错模拟 |
| 流量变化 | 特定 campaign/地区权重改变 | 分群与标准化 |
| 埋点重复 | 同 requestId 多个 zero_result | 去重与服务端日志对账 |
五、证据梯度
日志与描述分析适合发现;定性会话适合理解机制;原型/可用性测试验证交互可行;随机实验估计干预效果;灰度与长期观察验证外部有效性。
更强方法不一定可行。不可随机化时使用时间中断、差分中的差分或匹配需要额外假设,并明确未观测混杂。
六、案例一:搜索零结果
观察
移动端零结果率 8%→14%,桌面保持 7%。零结果按服务端 requestId 去重;客户端 query_submitted 数量正常。
分解
Android 9.4 上升到 21%,其他版本 8%;该版本输入法处理把 + 解码为空格,SKU A+B 变成 A B。服务端原始查询日志确认。
假设
对 Android 9.4 的 SKU 查询,如果修复加号编码,那么该版本精确 SKU 零结果率 7 日内至少下降 10 个百分点,因为服务端将收到正确字面值;搜索 p95 和崩溃率不恶化。
设计
随机 bucket 对一半合格 9.4 会话启用编码修复。单位是设备安装,避免同人会话交叉。主要指标是精确 SKU 零结果率;次要是成功商品打开;护栏是请求错误和延迟。
数据
control 10,000 查询中 2,100 零结果;treatment 10,200 中 918。分别 21% 与 9%,绝对 -12 点。还需区间、SRM、暴露正确性和至少完整业务周期。
反证
若服务端 raw query 已相同而结果仍差,编码机制被反驳,应检查版本与索引路由。不能只因总体改善就保留错误解释。
推广
修复 rollout 后按版本监控;旧 9.4 仍存在,服务端是否兼容需另行决定。实验只覆盖精确 SKU,不外推自然语言相关性。
七、案例二:试用流失
观察
14 日试用转付费从 18% 降到 14%。下降集中在小团队 paid-search 来源,首日创建项目率正常,邀请第二成员率下降。
解释候选
A:新手流程弱化邀请入口;B:广告引入更小/单人团队;C:邀请邮件投递下降;D:cohort 未成熟或归因规则变化。
检验
归因规则未变,cohort 已成熟。邮件 delivery 与 click 正常。新手版本发布后入口曝光从 70% 降到 30%,但 paid-search 同时带来更多单人团队。
两个假设
H1:恢复邀请入口对有第二成员意图的工作区提高邀请完成和付费。H2:对真实单人工作区强调个人价值比邀请更有效。一个统一邀请干预可能伤害 H2 人群。
分层实验
在开户问卷/行为推断的团队意图层随机化不同引导。主要结果是成熟的 14 日付费;领先是邀请完成或个人核心任务;护栏是跳出、退订和支持。
意图分类可能受处理影响时必须在 assignment 前固定。用实验后行为定义群会产生选择偏差。
八、从 SQL 到假设卡
SELECT source, onboarding_version,
COUNT(*) AS mature_trials,
AVG(converted_14d::int) AS conversion_14d,
AVG(invited_member_2d::int) AS invite_2d
FROM trial_cohort_facts
WHERE mature_14d
GROUP BY source, onboarding_version;输出保留分子、分母和版本。分析 notebook 记录查询 commit、数据 as-of 和排除。假设卡引用结果,不复制一个不可复现百分比。
九、优先级
按影响单位、差距、证据强度、可逆性、成本与风险排序。影响人数×可能变化 是粗估,不应伪装精确。
高影响但证据弱可先做低成本测量或原型;高风险不可逆先验证机制和安全。
十、预注册与停止规则
实验前写主要指标、单位、样本、最小可检测效应、窗口、排除、分群、护栏和停止规则。看到结果后换指标增加假阳性。
数据质量失败如 SRM、暴露日志缺失、跨组污染会使结果不可解释,不等于“实验无效果”。
十一、失败与负结果
无显著差异不证明完全相等。报告估计与区间:可排除多大改善、样本是否足够。
机制指标变化但结果未变,可能窗口不足、过程不是因果、剂量不足或护栏抵消。保留学习,避免重复假设。
十二、假设注册表
字段包括 hypothesis_id、observation、mechanism、intervention、population、unit、primary metric、MDE、window、guardrails、alternatives、status、decision 和 evidence links。
状态 proposed→measuring→testing→supported/not_supported/inconclusive→retired。supported 只针对已测试范围,不变成永恒事实。
十三、样本与效应
样本规划使用基线率、最小实际效应、显著性、power、分配比例和设计效应。不能用“跑两周”替代。cluster随机按组内相关调整;同一单位重复事件不是新增样本。
流量不足时接受更宽区间、选择更近的机制指标或扩大可控范围,不能看到趋势就提前宣布。
十四、决策规则
发布要求主要效果区间达到实际阈值、护栏不越界、SRM/质量通过、关键预注册群无不可接受伤害。
inconclusive 可以停止、扩大、改测量或放弃;不把方向正确当成功。
十五、定性与定量
定量定位哪个群和步骤,定性理解行为与语言。观察不能估计代表性比例,但能发现机制与反例;新机制仍在新数据或实验验证。
十六、顺序查看
频繁查看固定样本p值并显著就停会提高假阳性。采用固定horizon或经设计的sequential方法;规则在实验前进入注册表。
十七、常见错误
| 错误 | 修正 |
|---|---|
| 图表异常直接变方案 | 列解释和预测 |
| 只找支持证据 | 设计反证 |
| 结果后定义分群 | assignment 前固定 |
| 相关当因果 | 实验/因果假设 |
| 无效果=没价值 | 报区间和可排除范围 |
| 数据 bug 当产品问题 | 先审计生成过程 |
十八、综合练习
从一个真实漏斗下降提出至少三个可区分解释和两个干预假设。
验收标准
- [ ] 观察、解释和方案分开。
- [ ] 每个解释有不同预测和反证。
- [ ] SQL 可复现且含分母/版本。
- [ ] 假设写干预、机制、窗口和最小变化。
- [ ] 实验单位、护栏、SRM 与停止规则明确。
- [ ] 负结果用区间解释。
十九、搜索假设的离线评估
在在线实验前建立标注查询集:高频、长尾、SKU、拼写、同义词、无可用商品和安全敏感查询。标注正确商品/允许空结果,按 query type 报 Precision@k、Recall@k、NDCG@k 和零结果。
离线相关性提升不保证用户任务成功。它用于淘汰明显错误方案、发现群体伤害和控制实验风险。标注者一致性与数据时间范围进入报告。
二十、机制链的逐点测量
邀请引导假设的链路:
入口曝光 → 理解价值 → 发出邀请 → 成员接受 → 共同完成任务 → 付费。
每个节点有事件和资格。若曝光提升但邀请不变,检查理解/交互;邀请提升但接受不变,检查邮件与对象;共同任务提升而付费不变,机制与商业结果可能断开。
不要因为最终指标未成熟就选择最有利中间节点。预先指定哪一个过程是机制验证、何时等待最终结果。
二十一、实验失败矩阵
| 故障 | 结论状态 | 处理 |
|---|---|---|
| SRM | invalid | 修分配/日志后重跑 |
| exposure 大量缺失 | invalid 或边界缩小 | 对账 assignment |
| 主要指标 schema 变更 | 不可直接拼接 | 并行口径 |
| 护栏严重越界 | 停止 | 回滚并调查 |
| 样本不足 | inconclusive | 报区间/重新规划 |
| 效果异质且预注册 | 按群决策 | 检查交互和公平 |
二十二、假设组合与冲突
同一漏斗可能有多个同时实验,互相影响。建立互斥层或正交分桶,记录其他实验 exposure。关键交互需要 factorial 设计或避免重叠。
产品假设与测量假设分开:“新入口提高邀请”与“invite_sent 事件完整”不是同一假设。后者先通过数据质量验证。
二十三、学习复用
not_supported 记录同样重要:保留人群、版本、剂量、区间和失败机制。下一次假设必须说明新增证据,避免换文案重复测试。
结果随产品/市场漂移,旧实验不是永久真理。外推到新地区、设备或价格前检查机制和边界。
二十四、最小可检测效应与实际阈值
MDE 是实验按给定样本计划能可靠检测的效应,不等于业务最小价值。先由产品定义最小有意义效应,再检查流量能否达到相应精度;不能反过来把平台默认MDE称为商业阈值。
若14日付费基线14%,业务要求至少+1.5点,样本规划使用绝对差、双侧/单侧选择、power和流失。最终报告区间是否排除0及是否达到1.5点。
二十五、实验单位与曝光
assignment 在工作区,结果也按工作区;成员事件先聚合。若按成员随机但共享同一工作区,界面和行为交叉污染。
exposure 是实际看到处理,不应替代 assignment 做主ITT。exposure缺失用于质量诊断;按曝光者分析会选择受处理影响的人。
二十六、停止与回滚
严重安全、数据丢失或费用失控立即停止,不等待统计显著。常规护栏按预设区间/阈值和最小样本判断,避免噪声频繁回滚。
回滚后继续收集已分配单位的成熟结果,识别延迟伤害。停止新 exposure 不等于删除实验历史。
二十七、假设评审实例
评审者分别提出最强反例、最可能测量错误、可能被处理影响的分群和不可接受护栏。无法写反证的假设通常过于模糊。
把决策阈值写成表:支持、反对、inconclusive、invalid 各对应行动。团队在看结果前同意规则。
来源
- NIST:Confidence Limits for the Mean(访问日期:2026-07-18)
- eBay:Randomization Validation and SRM Detection(访问日期:2026-07-18)
- Google:Overlapping Experiment Infrastructure(访问日期:2026-07-18)
- Causal Diagrams for Empirical Research(访问日期:2026-07-18)