Skip to content

产品指标看板:把决策、口径与诊断组织在同一入口 ​

产品看板是为特定决策提供状态、变化、解释路径和数据质量的界面。它不是把所有可计算数字排成卡片。每个图都应回答谁在何时做什么决定。

一、先写看板契约 ​

字段示例
audience增长与产品负责人
cadence每日诊断、每周决策
decision是否扩大激活流程发布
primary成熟 cohort 7 日激活率
guardrails错误、退订、支持量
latencyT+1,回填 7 天
owner产品分析负责人
source指标合同与查询版本

没有 decision 的图表进入探索工作台,不直接放高层健康看板。

二、三层信息架构 ​

mermaid
flowchart TD
    H["结果层:目标与护栏"] --> D["诊断层:漏斗/分群/趋势"]
    D --> Q["质量层:完整性/延迟/版本"]

结果层限制在少量核心结果和关键护栏;诊断层允许按流程、cohort、版本和来源下钻;质量层告诉读者数据是否可信。

三、卡片必须包含什么 ​

一张指标卡包含当前值、分子/分母、比较基线、实际变化、相对变化、成熟状态、区间、更新时间、定义链接和质量状态。

从 2% 到 3% 是 +1 个百分点、相对 +50%。只显示“+50%”会放大小基线。总量需显示观察窗口与季节基线。

颜色不能是唯一信号。红/绿阈值有业务依据,配合文字、图标和可访问名称。

四、时间序列 ​

选择日/周/月粒度应匹配决策和噪声。周同比可处理星期结构,仍需标注节假日、发布和数据事故。移动平均平滑噪声但引入滞后,不替代原始点。

纵轴截断会夸大变化;比例通常从 0 起或明确标注。双轴易制造关系,优先分面或标准化。

五、比较基线 ​

可比基线包括上一完整周期、去年同期、计划目标、控制组和统计过程基线。不要在看到数据后挑最有利基线。

实验图显示 treatment/control 的绝对值、difference、区间、样本和 SRM 状态,不只显示 uplift。

六、案例一:SaaS 激活看板 ​

结果为工作区创建后 7 天内发布首个项目且第二成员参与。最近 7 天 cohort 未成熟。

结果层 ​

成熟 cohort 激活率 38.2%(1,910/5,000),上四周 40.0%,差 -1.8 点;95% 区间;护栏为邀请退订、关键错误和支持工单。

诊断层 ​

漏斗:创建→配置→邀请→成员参与→发布。按来源、规模、版本、国家分群;显示群内率和流量权重。

质量层 ​

成员参与事件完整率 99.2%,但 Android 8.4 为 91%,导致某 cohort 激活被低估。看板顶部显示 degraded,禁止自动扩大发布。

SQL 模型 ​

sql
SELECT acquisition_week,
       COUNT(*) FILTER (WHERE mature) AS mature_workspaces,
       COUNT(*) FILTER (WHERE mature AND activated) AS activated_workspaces,
       COUNT(*) FILTER (WHERE mature AND activated)::numeric
         / NULLIF(COUNT(*) FILTER (WHERE mature),0) AS activation_rate
FROM workspace_activation_facts
GROUP BY acquisition_week
ORDER BY acquisition_week;

fact 表保留规则版本和各步骤时间,不能只存最终布尔。

决策 ​

下降主要来自 paid 来源权重增加;Android 事件缺失也影响。先修数据再评估产品,不用不可信看板决定回滚。

七、案例二:支付成功率看板 ​

分析单位是逻辑付款意图,多个网络重试按幂等键去重。成功是账本/支付服务确认,不是客户端 success page。

结果层 ​

成功率、unknown outcome、重复扣款、p95 确认时间、支付金额与退款护栏。

诊断 ​

按 provider、支付方式、币种、国家、客户端版本和错误 code。漏斗区分创建意图、供应商接收、确认和订单激活。

事故 ​

某日客户端 success 事件下降 20%,服务端确认率不变。客户端版本 9.2 路由埋点丢失,不是付款事故。权威结果与诊断事件分层避免错误告警。

另一次 provider B 的 unknown 升高,最终成功率在 30 分钟回填后恢复。实时看板显示 preliminary,不把 unknown 立即计为失败。

八、阈值与告警 ​

看板供观察,告警要求明确 owner、影响、持续时间和响应。静态阈值适合安全/业务 SLO;动态基线适合季节指标,但必须处理发布与结构变化。

告警条件示例:成熟支付成功率低于 97% 且分母>1000,连续 10 分钟;或重复扣款任何一例立即高优先级。

避免对每个图告警。无行动手册的告警制造疲劳。

九、数据质量面板 ​

监控新鲜度、完整性、唯一性、合法性、连贯性和分布漂移。

  • 新鲜度:源事件到可查询时间。
  • 完整性:权威业务记录有对应事实。
  • 唯一性:业务 event_id 重复。
  • 合法性:枚举/范围/schema。
  • 连贯性:成功不早于开始、漏斗单调。
  • 漂移:unknown/版本/来源权重突变。

质量状态影响主指标展示,不能藏在另一个无人看的页面。

十、权限与隐私 ​

高层看板不显示个人行。小群体按阈值隐藏/合并;导出明细需额外权限和审计。人口属性可能受阈值与同意限制。

URL 筛选、缓存和截图都不能泄露租户或敏感 segment。共享链接重新授权。

十一、性能与成本 ​

大查询使用预聚合、增量模型和查询缓存;缓存 key 包含指标版本、筛选和权限。看板显示数据 as-of。

预聚合不能丢失重新计算所需的分子分母。只存 rate 无法正确再聚合。

十二、版本与变更 ​

指标定义变更以新版本并行计算,标注断点。历史回填说明范围;不能在折线中静默拼接不同口径。

删除图前检查决策、告警和消费者;保留重要事故注释,但不要让手工注释成为唯一历史。

十三、可用性测试 ​

给目标读者一个问题:“激活为何下降,能否扩大 Android 发布?”观察能否找到成熟度、分群和质量警告。记录误读。

看板截图评审不足;用真实筛选、窄屏、键盘和无数据/延迟/错误状态测试。

十四、视觉编码 ​

趋势用线,离散群用点/条,分布用直方/箱线/分位数,cohort用矩阵。饼图不适合许多类别或精确比较。面积和3D不用来比较率。

颜色状态配文字和图标;tooltip不是唯一入口。图提供可访问摘要或等价数据表。纵轴、单位、缺失与抑制值可见。

十五、查询血缘 ​

每张卡记录 metric_id、definition_version、query commit、source tables、as_of、refresh job 和 owner。点击定义能到 SQL 与数据测试。

缓存 key 包含指标版本、筛选与权限。查询升级与旧版并行,对比总量、分群和断点再切换。

十六、事故模式 ​

管线延迟时显示最后完整时间、受影响指标和禁止决策,不把旧值涂绿。事故时固定筛选和as-of,保存trace与发布注释。

临时诊断在复盘后转为正式图或删除,避免首页永久堆积。

十七、移动和无障碍 ​

窄屏保留名称、当前值、变化和质量,诊断分层进入。表格有表头和键盘导航,高对比与色觉缺陷检查纳入验收。

十八、查询成本 ​

记录扫描量、刷新频率和缓存命中。秒级刷新只用于可实时行动事故;成熟留存不需每分钟计算。预聚合保留分子分母和维度。

十九、常见错误 ​

错误修正
KPI 墙按决策分层
只显示百分比分子分母区间
最近 cohort 混入成熟状态
红绿无依据阈值合同
质量另放主页面降级
rate 再平均聚合分子分母
客户端声明成功权威服务端事件

二十、综合练习 ​

为异步数据导出创建结果、诊断和质量三层看板。

验收标准 ​

  • [ ] 看板写明受众、决策和 cadence。
  • [ ] 每张卡含分子分母、比较和成熟度。
  • [ ] 至少两个诊断下钻能区分解释。
  • [ ] 数据降级会阻止错误决策。
  • [ ] 告警有阈值、owner 与 runbook。
  • [ ] 小群体和导出有权限保护。
  • [ ] 查询保存指标版本与 as-of。

二十一、导出任务看板设计 ​

结果层:

  • 成熟任务成功率:完成窗口结束后 confirmed / eligible。
  • p90 首次可下载时间。
  • 过期前至少下载一次的任务比例。
  • 护栏:越权下载、重复生成、对象泄漏、每成功导出成本。

诊断层:

维度用途
数据量 bucket判断容量与长尾
格式 CSV/XLSX编码或内存问题
客户端版本下载交互
worker version处理回归
error code可重试与永久失败
租户计划配额和优先级

质量层对账 export_tasks、队列消息、对象存储 manifest 和客户端下载。对象存在但任务仍 processing 属于状态对账故障;不能仅重跑。

二十二、看板状态设计 ​

看板本身覆盖 loading、empty、partial、stale、error、permission denied 与 success。Empty 区分“无符合数据”和“管线没有产出”。Partial 显示缺失来源,不按零填充。

筛选改变时 URL 保存可分享的非敏感状态。直接链接重新授权。权限变化后已打开页面刷新并清除不再允许的缓存。

二十三、审计查询正确性 ​

对每个 rate 运行守恒测试:

sql
SELECT
  SUM(success_count) <= SUM(eligible_count) AS numerator_valid,
  SUM(eligible_count) > 0 AS denominator_nonzero
FROM metric_daily
WHERE metric_version = :version;

对漏斗检查后一步唯一单位不超过前一步;对状态检查终态互斥;对金额检查最小单位与账本对账。测试失败使看板 degraded。

二十四、决策会议输出 ​

会议不以“看过看板”结束。记录决定、证据 as-of、使用的定义版本、未决解释、owner 和复查日期。截图不能替代查询链接。

如果数据质量不支持决定,输出应是修复测量或收集证据,而不是凭感觉选择增长/回滚。看板价值来自更好的决策,不是访问次数。

二十五、指标字典抽屉 ​

每张图提供同页定义:业务含义、公式、资格、窗口、单位、权威来源、延迟、owner、版本和已知限制。用户不必跳到另一个系统才能判断分母。

变更前后定义同时可读。折线断点点击能看到 migration、回填范围和不可比区间。

二十六、筛选语义 ​

全局筛选只影响声明兼容的卡片。若收入按账本地区、激活按工作区地区,不能用一个“地区”控件假装相同。每卡显示实际应用的 dimension。

筛选为空时显示 no matching data,不显示0。0是有效数值,null是未知,suppressed是隐私隐藏,三者视觉和导出不同。

二十七、导出与 API ​

看板导出包含指标版本、as-of、筛选和分子分母,不只导出格式化率。API 返回 machine-readable status:complete/preliminary/degraded/suppressed。

下载重新授权并审计;共享快照有过期与撤销。敏感分群不能通过直接改 API 参数绕过 UI 阈值。

二十八、发布验收 ​

用固定 fixture 对 SQL、API 和页面值三方对账;随机抽取单位追溯到源事件。模拟迟到回填、版本断点、权限变化、管线失败和缓存过期。

刷新后相同 as-of 应复现同值。实时指标允许变化,但需显示 watermark,避免会议中数字不断跳动无法决策。

来源 ​

从前端走向软件产品工程的长期路线图。