症状、根因、需求表达与解决方案请求
症状是可观察异常或损失;根因是能解释症状发生机制并通过证据检验的条件;需求表达描述用户必须取得的结果或边界;解决方案请求是对实现方式的建议。四层混在一起,会把猜测写成事实、把按钮当需求,并可能只隐藏症状而不减少失败。
一、四层分别回答什么
| 层次 | 回答 | 示例 |
|---|---|---|
| 症状 | 实际发生了什么 | 上传停在 80%,最终超时 |
| 原因假设/根因 | 哪种机制产生症状 | 队列在峰值超过处理能力 |
| 需求 | 任务必须取得什么结果 | 文件可靠提交,失败可恢复 |
| 方案请求 | 希望怎样实现 | 增加“重试”按钮 |
“上传太慢”仍不够具体。记录任务、版本、输入、步骤、时间、期望、实际、后果和恢复,才能复现。
二、写可观察症状
症状卡包括:
{
"symptom_id": "SYM-UPLOAD-07",
"observed_on": "2026-07-17T14:22:00+08:00",
"task": "上传800MB项目归档",
"environment": {
"client": "4.8.0",
"os": "Windows 11",
"network": "enterprise-proxy"
},
"steps": ["选择文件", "开始上传", "等待最终状态"],
"expected": "返回可访问文件ID",
"actual": "进度停在80%,10分钟后超时",
"consequence": "任务未完成,本地文件仍在",
"recovery": "切换网页端后成功",
"evidence": ["request-id-redacted", "screen-event-log"]
}不在症状字段写“服务器容量不足”。那是解释。
三、症状簇不等于共同根因
相同“登录失败”可能来自密码错误、账户锁定、单点登录配置、身份服务事故、浏览器状态或网络代理。不同症状也可能来自同一依赖故障。
聚类时按任务、环境、错误合同和时间,而不是只按标题。先保留多种解释:
- 必要条件:缺少它是否不发生;
- 充分条件:出现它是否总发生;
- 贡献因素:提高概率或扩大影响;
- 触发因素:让潜在条件在此刻显现;
- 检测缺口:不制造故障但延迟发现;
- 恢复缺口:不制造故障但扩大后果。
复杂系统通常没有单一“第一原因”。
四、建立竞争原因假设
每个假设写出不同预测和证伪条件:
| 假设 | 若为真应看到 | 反证 |
|---|---|---|
| 网络超时 | 特定代理/高延迟集中失败 | 同网络小文件稳定不支持但不排除 |
| 文件校验 | 特定格式或校验码失败 | 同文件换网络仍成功 |
| 队列拥塞 | 峰值等待、积压和恢复同步 | 低负载同样失败 |
| 客户端状态 | 版本/升级路径相关 | 网页端和清洁安装均失败 |
先写预测再查数据,减少事后挑证据。
五、根因需要机制证据
时间先后和相关性只能产生候选。证据可能包括:
- 最小复现改变一个条件后症状随之变化;
- 日志显示从输入到故障状态的机制链;
- 对照版本或环境产生不同结果;
- 故障注入重复同一症状;
- 修复该机制后原复现和相邻回归通过;
- 独立事件与同一机制一致。
“最近刚发布”不是根因,“回滚后恢复”提高因果可信度,但仍要检查同时变化的配置、流量和依赖。
六、五个为什么的边界
连续追问可以帮助展开系统条件,但回答仍是假设,不能自动证明因果。问题也可能沿不同分支:为什么队列积压、为什么没有背压、为什么告警未触发、为什么恢复删除临时文件。强行得到一个组织或个人原因,会忽略设计和控制。
Google SRE 的复盘文化强调无责复盘,关注事件及改进,而不是指责个人。无责不等于没有责任,而是让系统条件可被如实记录。
七、从请求提炼需求
用户说“加一个重试按钮”,保留原话并追问证据:
- 什么任务失败;
- 重试当前如何完成;
- 是否会重复写入或收费;
- 需要恢复到哪个状态;
- 什么信息帮助决定重试;
- 哪些风险不可接受。
结果需求可以写:
上传失败时,需要知道已保存进度、失败原因和安全恢复方式,以便完成提交且不产生重复文件。
它允许自动恢复、断点续传、人工重试、队列降级和更清晰错误共同竞争。
八、四类干预
消除或降低根因
扩容、修复状态机、限制无效输入或改进依赖合同。目标是降低发生概率。
检测与隔离
监控积压、阻止重复写入、熔断依赖。故障仍可能发生,但不扩散。
缓解症状
显示进度、给替代路径、延长安全等待。用户损失下降,但根因可能仍在。
恢复与学习
保留临时数据、幂等重试、补偿、审计和复盘。无法彻底消除的故障必须有此层。
一个按钮通常只覆盖部分干预。
九、完整案例:上传在峰值卡住
1. 证据输入
教学场景:两周内 1,000 次大文件上传有 20 次任务失败。失败中 18 次发生在工作日 14:00–15:00,服务端队列深度同期从 200 升至 4,500。网页端与桌面端均受影响;小文件成功。一次失败后立即重试造成重复文件。
公开请求包括“加重试按钮”“进度到 100% 再显示成功”“把超时改成 30 分钟”。
2. 症状
大文件上传在高峰长时间停滞,客户端超时,但后台可能继续处理;用户无法判断状态,重复操作可能产生重复文件。
这包含两个症状:处理延迟和状态不确定。重复文件是后果。
3. 原因假设
H1 网络代理超时;H2 文件校验耗时;H3 后台处理能力低于峰值输入且缺少背压;H4 客户端轮询状态丢失。
4. 预测和测试
- H1 预测代理环境集中;日志显示直接网络也失败,可信度下降;
- H2 预测文件类型/校验相关;固定文件在低峰成功,不能单独解释;
- H3 预测队列深度、等待与失败同窗,限流后积压降低;数据支持;
- H4 预测后台实际完成但客户端超时;20 次中 7 次符合,说明它是独立贡献因素。
5. 当前根因判断
已支持机制:峰值输入超过处理能力且没有有效背压,造成积压;客户端缺少持久任务状态,使部分后台完成被显示为失败。
贡献因素:立即重试没有幂等键,产生重复。
未知:为什么容量计划未覆盖该峰值,需要进一步审计增长预测和告警。
6. 需求
用户需要在大文件高峰期间可靠提交;系统不能接受时要明确排队或拒绝;任何失败都能查询最终状态并安全恢复,不能产生重复文件或删除原数据。
7. 方案比较
| 方案 | 作用层 | 优势 | 风险 |
|---|---|---|---|
| 增加处理能力 | 根因 | 降低积压 | 成本、仍有突发上限 |
| 背压与排队状态 | 根因/检测 | 控制输入并透明 | 任务等待增加 |
| 持久任务ID | 恢复 | 可查询最终结果 | 状态保留与权限 |
| 幂等重试 | 隔离 | 防重复 | 幂等范围定义错误 |
| 重试按钮 | 缓解 | 用户可操作 | 无幂等时扩大问题 |
| 延长超时 | 症状 | 减少前台报错 | 掩盖积压、占用连接 |
8. 决策
先实施持久任务 ID、幂等与不清理原文件的守护;随后增加背压和容量。重试按钮只有在最终状态可查且幂等验证后开放。延长超时不作为单独修复。
9. 验证
- 固定大文件与流量重放原复现;
- 注入处理延迟,确认客户端持续查询同一任务;
- 连续提交同一幂等键,确认只有一个结果;
- 超过容量时验证排队或明确拒绝;
- 对比队列深度、任务失败和完成延迟;
- 检查小文件、取消、权限撤回和存储清理回归。
10. 失败分支
- 若扩容后仍在低峰失败,保留其他假设,不宣布根治;
- 若幂等键跨用户冲突,立即停止并修复权限边界;
- 若排队状态让用户误以为已完成,重新定义完成合同;
- 若服务日志因采样漏掉失败,不以“没有日志”否定症状;
- 若重试成功但产生重复计费,任务仍失败;
- 若根因无法彻底消除,必须维持检测、恢复和复审。
十、症状消失不等于根因消除
错误提示被隐藏、自动重试或用户迁移都可能让可见症状下降。验证同时看内部失败、重试放大、任务结果和守护指标。修复还可能把错误转移到下游或少数群体。
根因修复后保存原复现为回归,并观察足够覆盖原条件的时间窗。
修复验证的三层结果
第一层是机制:造成故障的状态或代码路径不再出现。第二层是任务:用户能按原完成标准得到正确结果。第三层是系统:相邻任务、性能、权限和成本没有不可接受恶化。只通过单元测试不能证明后两层。
机制指标:队列不再超过安全深度,状态机无丢失转移
任务指标:大文件成功完成且最终状态可查
守护指标:重复文件、存储占用、跨租户访问、P95等待发布后如果症状下降但机制指标未变,可能只是错误被隐藏;机制指标恢复但任务仍失败,则存在其他瓶颈。两种情况都不能宣布问题完整解决。
人为错误与系统条件
“操作员填错字段”描述了近端动作,不是充分根因。继续检查字段为何可接受无效值、反馈为何未及时出现、复核为何失效、培训和工作负荷是否合理。改进可以包含界面约束、权限、自动检查和流程设计,而不只要求个人更谨慎。
无责分析不删除行为责任:若有人绕过明确控制,需要记录事实并修复控制;但目标是降低相同条件再次造成损失的概率。
无法确定单一根因
证据可能只支持多个贡献因素。正确输出是“在这些条件共同出现时风险升高”,并为每个控制设计验证。为了写一个简短结论而选择最方便的原因,会使修复无法覆盖真实组合。
对第三方依赖只能观察合同、请求、错误和恢复时,可以把内部机制标为未知,同时改进超时、隔离、降级和沟通。产品仍能降低后果,无需假装知道供应商内部根因。
十一、需求的验证
好的需求表达:来自任务证据,不指定实现,可写完成和风险边界,并能连接产品目标。GOV.UK 指南也强调用户需求聚焦问题与结果,而不是邮件或信件等具体方案。
需求仍是假设,需要行为、工作流、公开证据或低成本方案验证。用户直接请求很重要,但提出请求的人可能只看到一个局部机制。
十二、个人学习路径
- 选择一个可安全复现的问题;
- 写完整症状卡;
- 列至少三个竞争原因和不同预测;
- 用日志、对照、版本或故障注入排除;
- 将解决请求改写为结果需求;
- 比较根因、检测、缓解和恢复四类干预;
- 修复后重跑原复现与相邻回归。
十三、完成检查与练习
- 症状含环境、步骤、期望、实际与后果;
- 根因未验证前称原因假设;
- 至少三个竞争解释有预测和反证;
- 时间接近没有冒充因果;
- 多因素、检测和恢复缺口被考虑;
- 请求原文保留但与需求分开;
- 方案覆盖根因、隔离、缓解与恢复;
- 复盘无责且有明确控制责任;
- 修复通过原复现、回归和线上结果验证。
练习:分析一个真实低风险故障,输出症状卡、假设矩阵、机制证据、结果需求和四类方案。完成标准是其他人可以用你的预测证伪原因,并理解为什么用户最初请求不一定是最终实现。
来源
- Google SRE Book:Postmortem Culture(访问日期:2026-07-17)
- NIST CSRC Glossary:Root Cause Analysis(访问日期:2026-07-17)
- GOV.UK Service Manual:Learning about users and their needs(访问日期:2026-07-17)
- Google SRE Workbook:Non-Abstract Large System Design(访问日期:2026-07-17)