Skip to content

问题频率、严重度、影响范围与证据可信度 ​

问题优先级不能只凭“很多人抱怨”或“后果很严重”。频率说明问题在多少次有效机会中发生;严重度说明单次后果;影响范围说明哪些角色、任务和环境受影响;可信度说明这些判断由什么质量的证据支持。四项分开评估,才能决定立即控制、继续验证或暂缓。

一、频率必须有事件、机会和时间窗 ​

text
机会频率 = 符合事件定义的问题次数 / 符合条件的任务机会数
用户发生率 = 至少经历一次问题的用户数 / 符合条件的用户数
重复发生率 = 问题事件数 / 至少经历一次问题的用户数

三者回答不同问题。一个用户重试十次失败,可以产生十个事件、一个受影响用户和一次原始任务。需要在事件 schema 中区分 task_id、attempt_id 与 actor_id。

事件定义 ​

明确触发、完成、失败、排除和去重。例如“上传失败”可以定义为:收到服务端最终失败状态,且 30 分钟内没有同一任务成功。用户主动取消、重复点击和网络离线是否包含,要在计算前决定。

机会分母 ​

分母不是全体活跃用户,而是实际有条件触发该任务的主体或任务。例如只有旧版客户端上传大文件,分母应是旧版中开始大文件上传的任务。

时间窗 ​

记录事件时间、数据处理时间和业务时区。日、周、版本发布后 48 小时会得到不同频率。季节任务不能用普通月份外推高峰。

数据缺失 ​

埋点漏报、离线、拦截器和日志采样会同时影响分子与分母。无法判断缺失机制时,报告已观察频率和数据覆盖,而不是精确真实频率。

二、评论和工单没有总体机会分母 ​

20 条一星评论只能说明样本内有 20 条陈述;评论者是主动发声样本。30 个工单也受支持入口、套餐和合并事故影响。它们可以提供问题条件和后果,不能直接写 20% 或 30% 用户受影响。

若没有完整分母,可报告:

  • 样本内主题次数;
  • 独立报告者和事件簇;
  • 时间、版本和环境聚类;
  • 后续需要的行为或日志分母。

暴露、发生、检测和报告 ​

问题数据常经过四个阶段:用户先暴露于条件,故障实际发生,系统或用户检测到,最后才进入评论或工单。每层分母不同:

text
暴露率 = 进入风险条件的任务 / 全部符合基础任务
条件发生率 = 故障任务 / 暴露任务
检测率 = 被检测故障 / 实际故障(通常未知)
报告率 = 进入渠道的故障 / 被用户感知故障(通常未知)

工单下降可能来自故障减少,也可能来自检测、入口或支持资格变化。优先建立产品任务与结果分母,再用渠道材料解释环境和后果。

机会次数不等于独立试验 ​

同一组织的任务共享配置,同一事故中的请求共享依赖,事件之间可能相关。简单二项比例的独立假设可能不成立。初级分析至少按组织、事件簇和时间分组报告,并避免给不可靠的窄置信区间。需要统计推断时,应由具备相应能力的人选择模型。

严重度随恢复条件变化 ​

同一症状在有备份、无备份和受监管数据下后果不同。严重度记录原始损失、现有控制和剩余风险:自动恢复成功不能抹掉底层失败,但会降低用户后果;变通要求关闭安全控制时,恢复本身可能提高风险。

三、严重度按任务后果评估 ​

情绪强烈不等于严重度高,语气平静也不表示后果轻。严重度观察:

维度问题
完成是否阻断核心任务
数据是否错误、丢失、泄露或不可恢复
金钱是否重复收费、损失或补偿
时间主动、等待和恢复成本
安全是否造成人身、账户或系统风险
合规是否违反明确义务或审计要求
可逆性能否撤销、恢复或人工接管
下游错误是否传播到决策和其他用户

可使用等级,但每级必须有行为定义:

text
S0:无可观察任务损失
S1:轻微摩擦,可立即自助恢复
S2:任务延迟或明显返工,有可靠变通
S3:核心任务阻断、重大错误或需人工恢复
S4:不可逆数据、安全、财务或合规后果

等级用于同一组织的决策,不是跨产品通用事实。安全事件应由对应专业流程评估。

四、影响范围不是人数一个数字 ​

至少按以下维度限定:

  • 角色和权限;
  • 任务类型与输入;
  • 产品、版本和发布渠道;
  • 账号套餐、组织配置和功能开关;
  • 设备、操作系统、浏览器与辅助技术;
  • 国家、地区、语言、时区和网络;
  • 数据规模、格式与依赖;
  • 事件开始、结束和恢复状态。

范围可以是“旧版 4.8.0、企业代理、Windows 的认证任务”,而不是“企业用户”。

总量会掩盖小群体高风险。整体失败率 0.2% 可能在屏幕阅读器键盘路径中为 40%,必须按有理由的风险维度分段,同时避免对小样本泄露身份。

五、可信度评价证据,不评价问题价值 ​

可信度低表示结论还不稳,不表示问题不存在。可按以下属性判断:

直接性 ​

证据是否直接观察目标主张。任务失败日志比“有人说产品不可靠”更直接。

独立性 ​

多个来源是否有不同原始数据。十篇转载同一事故仍是一个来源。

可复现性 ​

条件是否完整,另一执行者能否重复结果。

覆盖与分母 ​

是否包含符合条件的机会,以及缺失和选择偏差。

时效与版本 ​

证据是否适用于当前产品、政策和环境。

完整性 ​

是否同时保留反证、失败样本和未知字段。

来源权限与质量 ​

数据是否有权使用,埋点是否通过质量检查,官方声明是否只代表设计意图。

六、可信度记录而非神秘分数 ​

可以使用高、中、低,但必须附理由:

json
{
  "claim": "4.8.0在企业代理下提高认证失败",
  "confidence": "medium",
  "supports": [
    "两个独立最小复现",
    "目标版本日志显示失败上升"
  ],
  "limits": [
    "代理类型字段覆盖仅62%",
    "尚未在macOS验证"
  ],
  "counterevidence": [
    "一类代理环境未出现变化"
  ],
  "review_on": "2026-07-31"
}

避免把 0.73 这类精确值作为主观加权结果。若使用量表,公开规则并做敏感性分析。

七、四个维度不能机械相乘 ​

“频率 × 严重度 × 范围 × 可信度”会制造不可解释分数,并可能压低低频高危事件。合理决策规则:

  1. 安全、数据丢失、不可逆金融与合规风险先进入专门控制流程;
  2. 高严重度但低可信度,优先做快速、安全验证和临时守护;
  3. 高频轻微摩擦,用累计时间和任务影响比较;
  4. 高范围但低后果,评估运营总成本;
  5. 小范围无障碍或关键角色问题,不因人数少自动降级;
  6. 证据过期时先复验,不沿用旧优先级。

八、累计成本与尾部风险 ​

高频轻微问题的累计成本:

text
月累计主动成本 = 月问题事件数 × 每次额外主动分钟
月累计等待成本 = 受影响任务数 × 每次额外等待

平均值会掩盖尾部。报告中位数与 P90/P95 恢复时间,并检查少数不可恢复案例。若样本小,不使用不稳定分位数,直接列范围和个案后果。

九、完整案例:大文件上传失败 ​

1. 数据与定义 ​

研究窗口为 2026-07-01 至 07-14。目标人群为使用客户端 4.8.x 上传 500MB 以上文件的组织成员。

事件定义:任务收到最终失败,且同一 task_id 在 30 分钟内未成功。自动重试按 attempt 记录,但只计算一次任务失败。主动取消和权限拒绝另行分类。

教学场景数据:

text
符合条件上传任务:1,000
失败任务:20
受影响用户:14 / 320名符合条件用户
失败attempt:37
数据丢失事件:2
可在30分钟内人工恢复:18
4.8.0任务:600,失败18
4.8.1任务:400,失败2

2. 频率 ​

整体机会频率为 20/1000 = 2%。用户发生率为 14/320 = 4.375%。attempt 失败 37 次不能用作任务频率。

版本分段:4.8.0 为 18/600 = 3%,4.8.1 为 2/400 = 0.5%。这建立版本关联,不自动证明版本变化是原因;两组输入和环境可能不同。

3. 严重度 ​

18 次可通过重新上传恢复,造成中位 22 分钟等待和 6 分钟主动操作,可暂列 S2。2 次本地临时文件被清理且无法恢复,产生数据丢失,进入 S4 专项调查。不能用“多数可恢复”掩盖两次尾部风险。

4. 范围 ​

失败集中于 Windows、4.8.0、企业代理和 500MB 以上文件。代理类型只有 62% 事件有值,所以范围结论带数据缺口。小文件、网页端和 4.7.x 不在当前结论内。

5. 可信度 ​

支持证据:服务端最终状态、两个独立本地复现、版本化客户端日志。限制:客户端日志可能因清理缺失;代理字段覆盖不足;两次数据丢失需要文件生命周期确认。当前对“问题存在”可信度高,对“企业代理是根因”仅中等。

6. 决策 ​

  • 立即保护:失败时不清理本地临时文件,提供恢复入口;
  • 快速验证:补齐代理类型并在固定输入下对照 4.8.0/4.8.1;
  • 产品修复:根据根因测试决定网络重试、分块或版本迁移;
  • 沟通:限定受影响条件,不发布“所有上传失败”。

7. 验证 ​

  1. 审计 task 与 attempt 去重;
  2. 核对开始事件漏报和版本覆盖;
  3. 固定文件、网络和账号做版本对照;
  4. 注入失败验证临时文件不被删除;
  5. 发布后以相同事件和分母复算;
  6. 监控恢复成功、等待和新的磁盘占用风险。

8. 失败分支 ​

  • 若开始埋点漏报,2% 是有偏观察值,先修数据质量;
  • 若 18 次失败属于同一服务事故,事件独立性与任务影响分别报告;
  • 若 4.8.0 用户文件更大,版本差异存在混杂;
  • 若评论新增但任务日志稳定,检查人群、渠道和事件定义;
  • 若安全或数据丢失持续,即使频率下降也不解除守护;
  • 若修复增加磁盘泄露或隐私风险,触发停止与重新设计。

十、没有完整数据时怎样行动 ​

使用区间和条件:公开报告支持“至少出现”,复现支持“在此条件可发生”,状态页支持“该时段官方披露组件异常”。不要补造总体分母。

优先补能改变决策的证据。例如已知后果不可逆时先做保护,不必等待精确发生率;若后果轻且建设昂贵,则先取得行为分母。

十一、个人学习路径 ​

  1. 为一个真实问题写事件定义;
  2. 区分 task、attempt、user;
  3. 选择可获得的机会分母与时间窗;
  4. 按结果定义严重度;
  5. 按版本、角色和环境分段;
  6. 记录证据直接性、独立性、覆盖和反证;
  7. 写出不依赖机械乘法的决策规则。

十二、完成检查与练习 ​

  • 分子、分母、时间窗和去重一致;
  • 评论、工单未冒充总体发生率;
  • 严重度有任务后果与可逆性;
  • 范围含角色、版本、环境与时间;
  • 小群体和尾部风险未被平均值遮蔽;
  • 可信度理由可审计且含反证;
  • 高风险问题没有被低频分数压低;
  • 数据缺失与混杂明确;
  • 发布后可用同口径复算。

练习:选择一个问题建立四维证据卡,并分别给任务频率、用户发生率和严重度。完成标准是读者可以从原始数字复算,并能指出当前最可能改变决策的数据缺口。

来源 ​

从前端走向软件产品工程的长期路线图。