Skip to content

根据数据提出产品假设:从模式到可区分预测 ​

数据可以暴露模式和异常,但不会自动给出原因或方案。产品假设需要明确机制、目标主体、干预、预期结果、替代解释和能区分解释的证据。

一、观察、解释、干预分开 ​

观察:移动搜索零结果率从 8% 升到 14%。解释候选:词库覆盖下降、事件重复、流量来源改变、拼写差异、索引延迟。干预候选:纠错、同义词、索引修复、来源引导。

直接从“零结果升高”跳到“做 AI 搜索”把解释和方案绑死。先验证口径与数据,再列可证伪解释。

二、假设最小结构 ​

text
对于 [目标主体/场景],
如果 [可控制干预],
那么 [主指标] 会在 [窗口] 内 [方向和最小实际变化],
因为 [机制];
同时 [护栏] 不越界。
如果看到 [区分证据],则支持/反驳该机制。

“提升转化”没有分母、基线、窗口和机制,不是可执行假设。

三、先验证数据生成过程 ​

检查事件 schema、版本、重复、缺失、identity、时区、成熟度、客户端/服务端差异和流量组成。数据异常可能是产品变化,也可能是测量变化。

建立异常时间线:指标何时改变、哪个事件/维度先变、是否与发布/营销/数据管线同刻、原始业务记录是否一致。

四、提出互斥预测 ​

多个解释若预测相同结果,现有数据无法区分。

解释可区分预测验证
索引延迟新上架商品、发布后短窗口更严重关联商品更新时间和索引时间
拼写问题编辑距离近的查询占比升高离线查询集与纠错模拟
流量变化特定 campaign/地区权重改变分群与标准化
埋点重复同 requestId 多个 zero_result去重与服务端日志对账

五、证据梯度 ​

日志与描述分析适合发现;定性会话适合理解机制;原型/可用性测试验证交互可行;随机实验估计干预效果;灰度与长期观察验证外部有效性。

更强方法不一定可行。不可随机化时使用时间中断、差分中的差分或匹配需要额外假设,并明确未观测混杂。

六、案例一:搜索零结果 ​

观察 ​

移动端零结果率 8%→14%,桌面保持 7%。零结果按服务端 requestId 去重;客户端 query_submitted 数量正常。

分解 ​

Android 9.4 上升到 21%,其他版本 8%;该版本输入法处理把 + 解码为空格,SKU A+B 变成 A B。服务端原始查询日志确认。

假设 ​

对 Android 9.4 的 SKU 查询,如果修复加号编码,那么该版本精确 SKU 零结果率 7 日内至少下降 10 个百分点,因为服务端将收到正确字面值;搜索 p95 和崩溃率不恶化。

设计 ​

随机 bucket 对一半合格 9.4 会话启用编码修复。单位是设备安装,避免同人会话交叉。主要指标是精确 SKU 零结果率;次要是成功商品打开;护栏是请求错误和延迟。

数据 ​

control 10,000 查询中 2,100 零结果;treatment 10,200 中 918。分别 21% 与 9%,绝对 -12 点。还需区间、SRM、暴露正确性和至少完整业务周期。

反证 ​

若服务端 raw query 已相同而结果仍差,编码机制被反驳,应检查版本与索引路由。不能只因总体改善就保留错误解释。

推广 ​

修复 rollout 后按版本监控;旧 9.4 仍存在,服务端是否兼容需另行决定。实验只覆盖精确 SKU,不外推自然语言相关性。

七、案例二:试用流失 ​

观察 ​

14 日试用转付费从 18% 降到 14%。下降集中在小团队 paid-search 来源,首日创建项目率正常,邀请第二成员率下降。

解释候选 ​

A:新手流程弱化邀请入口;B:广告引入更小/单人团队;C:邀请邮件投递下降;D:cohort 未成熟或归因规则变化。

检验 ​

归因规则未变,cohort 已成熟。邮件 delivery 与 click 正常。新手版本发布后入口曝光从 70% 降到 30%,但 paid-search 同时带来更多单人团队。

两个假设 ​

H1:恢复邀请入口对有第二成员意图的工作区提高邀请完成和付费。H2:对真实单人工作区强调个人价值比邀请更有效。一个统一邀请干预可能伤害 H2 人群。

分层实验 ​

在开户问卷/行为推断的团队意图层随机化不同引导。主要结果是成熟的 14 日付费;领先是邀请完成或个人核心任务;护栏是跳出、退订和支持。

意图分类可能受处理影响时必须在 assignment 前固定。用实验后行为定义群会产生选择偏差。

八、从 SQL 到假设卡 ​

sql
SELECT source, onboarding_version,
       COUNT(*) AS mature_trials,
       AVG(converted_14d::int) AS conversion_14d,
       AVG(invited_member_2d::int) AS invite_2d
FROM trial_cohort_facts
WHERE mature_14d
GROUP BY source, onboarding_version;

输出保留分子、分母和版本。分析 notebook 记录查询 commit、数据 as-of 和排除。假设卡引用结果,不复制一个不可复现百分比。

九、优先级 ​

按影响单位、差距、证据强度、可逆性、成本与风险排序。影响人数×可能变化 是粗估,不应伪装精确。

高影响但证据弱可先做低成本测量或原型;高风险不可逆先验证机制和安全。

十、预注册与停止规则 ​

实验前写主要指标、单位、样本、最小可检测效应、窗口、排除、分群、护栏和停止规则。看到结果后换指标增加假阳性。

数据质量失败如 SRM、暴露日志缺失、跨组污染会使结果不可解释,不等于“实验无效果”。

十一、失败与负结果 ​

无显著差异不证明完全相等。报告估计与区间:可排除多大改善、样本是否足够。

机制指标变化但结果未变,可能窗口不足、过程不是因果、剂量不足或护栏抵消。保留学习,避免重复假设。

十二、假设注册表 ​

字段包括 hypothesis_id、observation、mechanism、intervention、population、unit、primary metric、MDE、window、guardrails、alternatives、status、decision 和 evidence links。

状态 proposed→measuring→testing→supported/not_supported/inconclusive→retired。supported 只针对已测试范围,不变成永恒事实。

十三、样本与效应 ​

样本规划使用基线率、最小实际效应、显著性、power、分配比例和设计效应。不能用“跑两周”替代。cluster随机按组内相关调整;同一单位重复事件不是新增样本。

流量不足时接受更宽区间、选择更近的机制指标或扩大可控范围,不能看到趋势就提前宣布。

十四、决策规则 ​

发布要求主要效果区间达到实际阈值、护栏不越界、SRM/质量通过、关键预注册群无不可接受伤害。

inconclusive 可以停止、扩大、改测量或放弃;不把方向正确当成功。

十五、定性与定量 ​

定量定位哪个群和步骤,定性理解行为与语言。观察不能估计代表性比例,但能发现机制与反例;新机制仍在新数据或实验验证。

十六、顺序查看 ​

频繁查看固定样本p值并显著就停会提高假阳性。采用固定horizon或经设计的sequential方法;规则在实验前进入注册表。

十七、常见错误 ​

错误修正
图表异常直接变方案列解释和预测
只找支持证据设计反证
结果后定义分群assignment 前固定
相关当因果实验/因果假设
无效果=没价值报区间和可排除范围
数据 bug 当产品问题先审计生成过程

十八、综合练习 ​

从一个真实漏斗下降提出至少三个可区分解释和两个干预假设。

验收标准 ​

  • [ ] 观察、解释和方案分开。
  • [ ] 每个解释有不同预测和反证。
  • [ ] SQL 可复现且含分母/版本。
  • [ ] 假设写干预、机制、窗口和最小变化。
  • [ ] 实验单位、护栏、SRM 与停止规则明确。
  • [ ] 负结果用区间解释。

十九、搜索假设的离线评估 ​

在在线实验前建立标注查询集:高频、长尾、SKU、拼写、同义词、无可用商品和安全敏感查询。标注正确商品/允许空结果,按 query type 报 Precision@k、Recall@k、NDCG@k 和零结果。

离线相关性提升不保证用户任务成功。它用于淘汰明显错误方案、发现群体伤害和控制实验风险。标注者一致性与数据时间范围进入报告。

二十、机制链的逐点测量 ​

邀请引导假设的链路:

入口曝光 → 理解价值 → 发出邀请 → 成员接受 → 共同完成任务 → 付费。

每个节点有事件和资格。若曝光提升但邀请不变,检查理解/交互;邀请提升但接受不变,检查邮件与对象;共同任务提升而付费不变,机制与商业结果可能断开。

不要因为最终指标未成熟就选择最有利中间节点。预先指定哪一个过程是机制验证、何时等待最终结果。

二十一、实验失败矩阵 ​

故障结论状态处理
SRMinvalid修分配/日志后重跑
exposure 大量缺失invalid 或边界缩小对账 assignment
主要指标 schema 变更不可直接拼接并行口径
护栏严重越界停止回滚并调查
样本不足inconclusive报区间/重新规划
效果异质且预注册按群决策检查交互和公平

二十二、假设组合与冲突 ​

同一漏斗可能有多个同时实验,互相影响。建立互斥层或正交分桶,记录其他实验 exposure。关键交互需要 factorial 设计或避免重叠。

产品假设与测量假设分开:“新入口提高邀请”与“invite_sent 事件完整”不是同一假设。后者先通过数据质量验证。

二十三、学习复用 ​

not_supported 记录同样重要:保留人群、版本、剂量、区间和失败机制。下一次假设必须说明新增证据,避免换文案重复测试。

结果随产品/市场漂移,旧实验不是永久真理。外推到新地区、设备或价格前检查机制和边界。

二十四、最小可检测效应与实际阈值 ​

MDE 是实验按给定样本计划能可靠检测的效应,不等于业务最小价值。先由产品定义最小有意义效应,再检查流量能否达到相应精度;不能反过来把平台默认MDE称为商业阈值。

若14日付费基线14%,业务要求至少+1.5点,样本规划使用绝对差、双侧/单侧选择、power和流失。最终报告区间是否排除0及是否达到1.5点。

二十五、实验单位与曝光 ​

assignment 在工作区,结果也按工作区;成员事件先聚合。若按成员随机但共享同一工作区,界面和行为交叉污染。

exposure 是实际看到处理,不应替代 assignment 做主ITT。exposure缺失用于质量诊断;按曝光者分析会选择受处理影响的人。

二十六、停止与回滚 ​

严重安全、数据丢失或费用失控立即停止,不等待统计显著。常规护栏按预设区间/阈值和最小样本判断,避免噪声频繁回滚。

回滚后继续收集已分配单位的成熟结果,识别延迟伤害。停止新 exposure 不等于删除实验历史。

二十七、假设评审实例 ​

评审者分别提出最强反例、最可能测量错误、可能被处理影响的分群和不可接受护栏。无法写反证的假设通常过于模糊。

把决策阈值写成表:支持、反对、inconclusive、invalid 各对应行动。团队在看结果前同意规则。

来源 ​

从前端走向软件产品工程的长期路线图。