Skip to content

识别虚荣指标:判断数字能否支持正确行动 ​

虚荣指标不是某个固定指标名称,而是在当前决策中缺少可解释分母、价值联系、行动路径或护栏的数字。总访问量、注册数、生成次数可以用于容量或趋势,但若被当作用户价值就会误导。

一、六个识别问题 ​

  1. 谁是分析单位,能否重复贡献。
  2. 分母和资格是什么。
  3. 数字增长是否表示用户结果改善。
  4. 团队能采取什么行动。
  5. 能否通过低价值行为轻易提高。
  6. 哪些质量、成本或安全结果可能恶化。

累计值几乎只增不减,不能展示当前健康。页面浏览量受机器人、刷新和无限滚动影响。下载数不说明安装、成功使用或留存。

二、总量、率、分布与 cohort ​

总量适合容量与成本;率适合在资格分母内比较;分布揭示长尾;cohort 揭示生命周期。

原始数字决策缺口改造
累计注册用户包含沉默和删除最近 cohort 激活率、成熟留存
页面浏览量无任务结果合格会话任务成功率
AI 生成次数重试也增加被采用且通过质量检查的结果率
下载数不知是否安装使用下载→安装→首次成功漏斗
发送通知数发送可被团队操纵目标动作增量与退订护栏

三、Goodhart 风险 ​

当一个度量成为强目标,参与者会优化度量而非真实目标。风险来自代理与价值不完全一致。

提高“每日生成次数”可通过拆分一次任务、默认自动生成或让失败重试;次数上升但成本、等待和用户控制恶化。防护不是寻找永不被操纵的指标,而是使用结果、过程、护栏和审计组合。

四、指标合同 ​

指标至少记录名称、目的、单位、分子、分母、资格、去重、窗口、权威事件、延迟、维度、owner 和已知偏差。

若一个数字没有决策字段,默认只用于描述,不进入目标/绩效。

五、案例一:内容平台访问量 ​

首页月 PV 从 1,000 万增至 1,400 万。同期唯一人 500 万→520 万,机器人流量 5%→25%,每次会话刷新增加。PV 增长不能说明读者价值。

重构指标 ​

目标是读者完成内容消费并愿意返回。使用合格阅读会话:停留至少 30 秒、可见内容达到 60% 或完成明确收藏/分享;按会话最多贡献一次。

结果组合:

  • 合格阅读会话率 = 合格阅读会话 / 可评估人类会话。
  • 新读者 28 日回访率,按 acquisition cohort。
  • 每篇内容的合格读者分布,避免头部掩盖。
  • 护栏:误导举报、页面性能、广告密度、无障碍错误。

数值 ​

PV +40%,合格会话数只 +4%,合格率 48%→39%,28 日回访 22%→20%。增长主要来自机器人和更碎的分页。

SQL ​

sql
WITH sessions AS (
  SELECT session_id, user_id,
         MAX(CASE WHEN engaged_seconds >= 30 OR scroll_depth >= 0.6 OR saved THEN 1 ELSE 0 END) AS qualified
  FROM content_events
  WHERE is_bot = false
  GROUP BY session_id, user_id
)
SELECT AVG(qualified::numeric) AS qualified_session_rate
FROM sessions;

机器人分类会误伤,需记录规则版本、unknown 和服务端/CDN 对账。scroll 不能单独代表阅读,短内容也需调整。

行动 ​

停止把 PV 作为编辑目标;调查分页与广告策略;用内容类别和来源分群;实验减少页面切片并观察合格率、回访与收入护栏。

六、案例二:AI 生成次数 ​

团队把周生成次数设为目标后,默认自动生成摘要,失败自动重试三次。生成数 +80%,但接受率从 62% 降到 35%,Token 成本 +120%。

价值事件 ​

分析单位是用户任务,不是模型调用。一个 task 可含多次生成。成功定义为用户明确采用结果,并在 24 小时内未撤销/大幅重写;不同产品可用更合适结果。

指标:任务成功率、首次获得可用结果时间、每个成功任务 Token、引用支持率、错误/拒绝率。护栏:敏感内容、申诉、延迟和用户关闭 AI 的比例。

重试归因 ​

模型调用使用 generationId,任务使用 taskId。内部重试不增加任务数。用户主动重新生成记录 attempt,但成功率分母仍按 eligible task。

失败注入 ​

让模型返回 schema 无效、超时和无引用答案。计费调用仍进入成本,但不能进入成功。客户端埋点“复制”不能成为唯一采用证据,需处理误触和撤销。

七、什么时候总量是正确指标 ​

容量规划需要峰值请求数、存储字节和并发;财务需要确认收入总额;安全需要特定事件绝对数。此时总量直接对应资源或风险。

但容量总量不能回答用户价值。一个指标可在运维决策中有效、在产品目标中虚荣。

八、分母设计 ​

分母应是有资格获得结果的单位。把所有注册用户作为高级功能采用分母会混入没有权限/计划的人;只用点击入口者又会产生选择偏差。

资格在暴露前确定,例如付费且有导出权限的工作区。分母规则变化要版本化和回填。

九、重复与身份 ​

同一人多设备、匿名到登录、多人共用工作区都影响计数。用户价值按工作区时,不能用成员事件数冒充工作区采用。

累计 unique 也受 ID 合并和删除影响。保留 lineage,说明是否按事件时或当前身份回填。

十、目标与护栏 ​

每个目标写可接受增长方式和禁止方式。任务成功率提升不能靠缩小 eligible;AI 接受率不能靠隐藏拒绝按钮;工单关闭率不能靠阻止复开。

护栏设置 absolute 和 relative 阈值:例如成功率提升至少 3 点,同时每成功任务 Token 不增加超过 10%,严重安全事件为零容忍 gate。

十一、异常审计 ​

当目标突然提升,检查分子/分母、事件版本、重复、流量来源、客户端版本和异常贡献者。Top contributors 可发现少数 bot 或自动化刷高。

使用 A/A 或历史回放验证指标管线。仪表盘显示定义版本和最后成熟日期。

十二、指标组合评审 ​

角色问题
产品是否代表用户结果
数据能否稳定计算、偏差是什么
工程事件是否权威、幂等
设计行为是否可被界面诱导
安全是否鼓励滥用或泄露
财务/运维成本与容量是否可持续

十三、指标攻击测试 ​

目标合法但无价值的提高方式护栏
激活率缩小eligible资格版本、绝对激活数
AI接受率隐藏拒绝、自动复制撤销、编辑、关闭AI
工单关闭自动关闭无回复复开、客户确认
通知点击误导标题退订、投诉、任务完成
生成次数重试和拆任务taskId去重、成功成本

攻击评审把禁止方式写进指标合同。目标突然提升时按贡献者、事件版本、分母和流量来源审计。

十四、净价值与零容忍风险 ​

加权 net_value=success-λ*harm 可做敏感性讨论,但λ是价值判断。严重安全事件不能被大量成功抵消,通常作为独立gate。

AI看板同时报告每100个合格任务成功数、严重安全失败、Token和关闭率;不要压成一个不透明分数。

十五、反事实 ​

生成数1000→1200不等于发布贡献200。季节、流量与其他改动也变化。用控制组或实验估计增量,同时显示assignment、exposure、eligible和outcome。

十六、退役 ​

指标不再连接决策、事件成本过高或代理关系漂移时退役。扫描目标、看板、告警、实验和绩效引用;保留历史定义与替代,不删除旧事实导致分析不可复现。

十七、常见错误 ​

错误修正
数字大就重要连接决策与价值
比例一定好检查分母和选择
指标无法被操纵做攻击性评审
点击代表成功使用业务结果事件
只设一个目标加护栏和分布
总量一律虚荣区分产品与容量决策

十八、综合练习 ​

审计一个 AI、内容或协作产品的 10 个现有指标。

验收标准 ​

  • [ ] 每个指标指定决策场景。
  • [ ] 至少识别三个缺分母或可操纵数字。
  • [ ] 重构为结果、过程和护栏组合。
  • [ ] SQL 按正确分析单位去重。
  • [ ] 提供一次异常贡献者与事件版本审计。
  • [ ] 说明哪些总量只用于容量/成本。

十九、重写目标的完整实例 ​

旧目标:“季度 AI 生成 100 万次。”

新目标:“在有资格的文档编辑任务中,30% 在 10 分钟内产生被用户采用且 24 小时未撤销的 AI 修改;每个成功任务 p75 Token 不超过 8,000;严重引用错误率低于 0.1%;关闭 AI 的用户比例不增加超过 0.5 点。”

这里的分母是 eligible editing task,成功按 taskId 去重,Token 是成本护栏,引用错误是质量 gate,关闭比例保护用户控制。100 万调用仍保留为容量指标。

二十、指标组合的 SQL ​

sql
WITH task AS (
  SELECT
    task_id,
    MAX((event_type = 'ai_change_adopted')::int) AS adopted,
    MAX((event_type = 'ai_change_reverted_24h')::int) AS reverted,
    SUM(token_count) AS tokens
  FROM ai_task_events
  WHERE eligible
  GROUP BY task_id
)
SELECT
  AVG((adopted = 1 AND reverted = 0)::int) AS durable_adoption_rate,
  SUM(tokens)::numeric
    / NULLIF(COUNT(*) FILTER (WHERE adopted = 1 AND reverted = 0), 0)
    AS tokens_per_success
FROM task;

迟到撤销使最近 24 小时任务尚未成熟。看板排除或标 preliminary。Token 记录模型、缓存和重试,避免成本漏计。

二十一、绩效绑定边界 ​

把单一代理直接绑定个人绩效会强化操纵。团队目标使用结果和护栏组合,评审异常增长方式;个人评估不以可刷事件数为核心。

当合法产品优化改变分母或事件时,先发布新指标版本和基线,不要求团队维持旧口径目标。冻结错误口径只会促使绕过。

二十二、真实增长与测量增长 ​

拆分指标变化:

observed_change = behavior_change + population_mix + measurement_change + random_noise。

这不是可直接精确估计的恒等式,而是诊断框架。用权威业务记录、标准化、A/A 和版本对比缩小解释;不能把剩余全部称为产品效果。

二十三、指标选择的对照问题 ​

在采纳指标前回答:“如果这个数字提高20%,但用户结果不变,最可能通过什么路径发生?”能轻易列出多条路径说明代理薄弱,需要更近结果或护栏。

再问:“如果用户结果真实改善,这个指标是否一定变化?”若不一定,它可能漏掉重要价值路径。例如协作产品只统计评论,会忽略共同编辑和审批。

二十四、分母攻击监控 ​

看板同时展示 eligible 绝对数和资格排除原因。激活率上升但 eligible 突降时自动标注。排除规则使用版本化 code,禁止在查询中散落临时 WHERE。

同一团队修改资格和分子逻辑时需要独立评审与历史双算,避免通过口径达到目标。

二十五、沟通方式 ​

对外汇报先说结果单位和窗口,再给过程与总量。不要用“累计用户破千万”替代当前活跃价值;容量成绩可独立表述为系统承载能力。

当虚荣数字仍有品牌或融资沟通用途,明确它是 reach/awareness,而非留存和价值,并提供去机器人、去重复的口径。

来源 ​

从前端走向软件产品工程的长期路线图。