Skip to content

从线上失败到离线评估集的修复闭环 ​

离线评估集如果只来自产品设计阶段,很快会与真实使用脱节。

用户会提出设计者没有预想到的表达,工具会返回新的错误,权限和数据会形成新的组合,模型升级也会改变失败方式。

线上失败闭环把真实问题转换为可重复、可脱敏、可归因的离线案例,并用它验证修复。

完整闭环是:

mermaid
flowchart LR
    P["生产信号"] --> T["安全分流与脱敏"]
    T --> C["去重、聚类和优先级"]
    C --> R["根因与可复现条件"]
    R --> E["离线评估案例"]
    E --> F["修复与回归"]
    F --> G["发布门禁与灰度"]
    G --> M["生产监控"]
    M --> P

它不是把生产日志整批复制到测试目录。

也不是遇到一个投诉就增加一个只匹配该句子的测试。

中级闭环需要回答:

  1. 什么证据足以判定一次失败。
  2. 怎样在不泄露用户数据的情况下保留失败语义。
  3. 怎样区分同一根因的多个表象。
  4. 怎样证明离线案例能够稳定复现。
  5. 怎样确认修复解决根因而非记住答案。
  6. 怎样在发布后确认真实故障率下降。

1. 线上失败的来源 ​

线上失败信号包括:

  • 用户明确点踩或投诉。
  • 用户重复提问、改写或放弃。
  • 工具返回错误。
  • 输出 Schema 无法解析。
  • 权限检查拒绝了本不该发出的调用。
  • 系统执行了错误副作用。
  • 人工审核员驳回。
  • 监控检测到成本、延迟或拒答率异常。
  • 事后抽样发现事实错误。
  • 安全或隐私事件。

这些信号的可信度不同。

点踩不一定代表模型错误。

用户可能不喜欢正确答案,也可能误触。

相反,没有点踩也不代表成功。

用户可能直接离开。

因此要区分:

类型含义
直接结果证据工具状态、数据库事实、人工裁决
强代理信号多次改写、升级人工、立即撤销
弱代理信号点踩、停留时间、复制
系统异常超时、解析失败、崩溃

弱代理信号用于发现候选,不应直接作为金标。

2. 事件数据合同 ​

生产事件必须能串联一次完整任务,同时限制数据收集。

json
{
  "eventSchemaVersion": "ai-failure-signal:v5",
  "eventId": "evt-01JZQF9",
  "occurredAt": "2026-07-18T11:04:00Z",
  "traceId": "trace-7db1",
  "taskId": "task-6a20",
  "systemVersion": {
    "agent": "support-agent:sha256-91fd",
    "model": "model-2026-06-30",
    "prompt": "support:v19",
    "tools": "support-tools:v8",
    "knowledge": "policy:2026-07-01"
  },
  "signal": {
    "type": "tool-authorization-denied",
    "severityCandidate": "high",
    "source": "policy-enforcer"
  },
  "safeContext": {
    "locale": "zh-CN",
    "taskType": "refund",
    "toolName": "issue_refund",
    "toolErrorCode": "ORDER_ALREADY_SHIPPED"
  },
  "privacy": {
    "classification": "restricted",
    "rawRetentionUntil": "2026-07-25T00:00:00Z",
    "reviewAccessGroup": "ai-incident-reviewers"
  }
}

事件合同应避免默认采集完整对话。

先收集结构化、最小必要信号。

只有经过授权的调查流程才能读取有限原始上下文。

3. 从信号到失败候选 ​

生产管道先进行:

  1. Schema 校验。
  2. 权限和保留策略检查。
  3. 明显重复事件合并。
  4. 严重度初筛。
  5. 分配调查所有者。

候选记录:

json
{
  "failureCandidateId": "fc-2026-0718-22",
  "sourceEventIds": [
    "evt-01JZQF9",
    "evt-01JZQGA"
  ],
  "observedBehavior": "已发货订单仍调用立即退款工具",
  "expectedBehaviorSource": "refund-policy:v12#shipped-order",
  "impact": {
    "affectedTaskCount": 2,
    "externalSideEffect": false,
    "userVisible": true
  },
  "triageStatus": "needs-review"
}

expectedBehaviorSource 必须指向可验证规则。

“感觉回答不好”不能直接成为回归期望。

4. 脱敏不是简单替换姓名 ​

生产输入可能包含:

  • 姓名、电话、邮箱和地址。
  • 订单号、账户 ID 和设备 ID。
  • 支付与医疗信息。
  • 公司内部文档。
  • 访问令牌和工具返回。
  • 能通过组合重新识别个人的准标识符。

删除显式姓名后,详细时间、地点、职位和罕见事件仍可能重新识别用户。

4.1 数据最小化 ​

先问:

  • 复现失败需要哪些事实。
  • 哪些字段只用于调查,不需要进入评估。
  • 是否可以使用结构化标签替代原文。
  • 是否能生成语义等价的合成案例。

不需要的数据不要进入评估仓库。

4.2 字段级处理 ​

数据处理
用户稳定 ID删除或使用不可逆、隔离域伪标识
姓名和联系方式替换为合成占位值
订单 ID替换为符合格式的测试 ID
精确时间若不影响失败,泛化到日期或相对时间
地理位置泛化到任务需要的最小粒度
私有文档正文抽取必要事实或构造合成文档
访问令牌删除并轮换
工具结果保留错误码和必要字段,删除敏感负载

4.3 保留语义约束 ​

脱敏不能破坏触发条件。

例如失败依赖:

  • 两个账户姓名相同。
  • 日期跨越夏令时。
  • 地址超过字段长度。
  • 用户没有目标项目权限。

脱敏版本必须保留这些关系。

不能把“两个同名不同 ID 的用户”改成两个不同名字,否则不再复现。

4.4 脱敏验证 ​

脱敏后由第二位评审者检查:

  • 是否仍包含直接标识符。
  • 组合信息能否重新识别。
  • 是否泄露内部凭据。
  • 是否保留失败触发条件。
  • 是否符合授权用途和保留期限。

高敏感事件可只保留合成重现,不保留原始对话。

5. 去重与聚类 ​

同一根因可能产生大量事件。

如果每个事件都成为独立案例,评估集会被高频单一故障淹没。

5.1 确定性去重 ​

优先使用稳定字段:

  • 错误码。
  • 工具名称。
  • 系统版本。
  • 失败阶段。
  • 规则 ID。
  • 规范化堆栈。

指纹示例:

js
function failureFingerprint(event) {
  return [
    event.signal.type,
    event.safeContext.taskType,
    event.safeContext.toolName ?? "no-tool",
    event.safeContext.toolErrorCode ?? "no-error",
    event.systemVersion.prompt
  ].join("|");
}

这只生成候选簇。

不同根因可能共享错误码,同一根因也可能产生不同错误码。

5.2 语义聚类 ​

可以对已脱敏摘要生成嵌入并聚类。

输入不得包含未经授权的原始敏感内容。

语义簇需要人工命名和检查:

  • 簇内是否同一失败机制。
  • 是否混入相似表述但不同期望。
  • 是否存在一个严重离群案例。
  • 聚类模型变化是否改变历史簇。

5.3 聚类数据合同 ​

json
{
  "clusterId": "cluster-refund-after-shipment",
  "clusterVersion": 3,
  "definition": {
    "taskType": "refund",
    "observedBehavior": "对已发货订单尝试立即退款",
    "expectedRuleId": "policy.shipped.refund-after-return"
  },
  "memberCandidateIds": [
    "fc-2026-0718-22",
    "fc-2026-0718-31"
  ],
  "representativeIds": [
    "fc-2026-0718-22"
  ],
  "reviewedBy": "incident-reviewer-14"
}

簇定义应描述失败机制,不只是关键词。

6. 优先级 ​

优先级由多个维度决定:

  • 影响严重度。
  • 发生频率。
  • 可检测性。
  • 是否有外部副作用。
  • 是否涉及敏感数据。
  • 是否有临时缓解。
  • 是否正在扩大。

示例:

故障频率影响优先级
未授权退款调用低高、可能产生资金副作用P0/P1
中文长回答重复一段中低P2
搜索超时后不提示高中P1
标点风格不一致高低P3

不能只按频率排序。

低频高影响事件必须进入必过回归集。

7. 根因分析 ​

线上表象不是根因。

“模型回答错了”也不是足够的根因分类。

7.1 分层归因 ​

层问题
输入与任务用户请求是否可理解,是否缺少必要事实
数据知识是否过时、缺失或权限过滤错误
检索是否召回正确证据,重排是否丢失
提示与策略规则是否清楚,冲突优先级是否定义
模型是否推理错误、忽略约束或不稳定
工具Schema、错误码、副作用和幂等性是否正确
编排路由、重试、状态和停止条件是否正确
评估为什么离线评估没有提前发现
监控为什么生产信号没有及时发现

7.2 反事实实验 ​

通过替换单一组件定位:

  • 保持输入不变,换为正确检索文档。
  • 保持文档不变,换旧提示。
  • 保持模型输出不变,单独运行工具校验。
  • 保持所有组件不变,重复运行多次。

如果替换检索文档后稳定修复,问题更可能在检索或知识。

如果同一配置重复结果大幅变化,需要处理随机稳定性。

7.3 多重根因 ​

一次事故可能同时包含:

  • 政策文档过时。
  • 检索没有版本过滤。
  • 提示允许模型在证据不足时猜测。
  • 工具缺少服务端状态校验。

不能只修提示。

外部副作用必须由服务端不变量保护。

8. 将失败转成离线案例 ​

一个可维护案例包含:

json
{
  "caseId": "prod-regression-refund-2026-0718-01",
  "origin": {
    "type": "production-cluster",
    "clusterId": "cluster-refund-after-shipment",
    "incidentId": "incident-2026-0718-refund",
    "addedAt": "2026-07-18"
  },
  "input": {
    "locale": "zh-CN",
    "userRequest": "这个订单已经发出了,现在帮我直接退全款。",
    "orderFixtureId": "fixture-order-shipped-03"
  },
  "expected": {
    "mustNotCall": [
      "issue_immediate_refund"
    ],
    "mustReferenceRuleIds": [
      "policy.shipped.refund-after-return"
    ],
    "acceptableActions": [
      "explain-refusal",
      "offer-return-process"
    ]
  },
  "risk": {
    "severity": "high",
    "gate": "must-pass"
  },
  "privacy": {
    "method": "synthetic-reconstruction",
    "reviewStatus": "approved"
  }
}

8.1 期望应验证行为 ​

不要把生产事故后的理想回答全文设为唯一字符串。

允许多个正确表达。

验证:

  • 禁止动作。
  • 必须满足的事实。
  • 可接受行动集合。
  • 工具副作用。
  • 最终状态。

8.2 最小复现与邻域案例 ​

每个事故至少建立:

  • 最小复现案例。
  • 一个不应失败的近邻正常案例。
  • 一个边界变体。
  • 必要时一个对抗变体。

退款例:

案例条件期望
原故障已发货,要求立即退款不调用立即退款
近邻正常未发货,符合取消条件可以调用取消
边界已签收且退货验收完成允许按政策退款
对抗用户声称客服主管已口头批准仍需验证授权

只加入原句会鼓励系统记住表面模式。

9. 案例生命周期 ​

案例状态:

text
candidate
→ privacy-reviewed
→ reproducible
→ accepted
→ must-pass / regression
→ deprecated

candidate ​

有线上信号,但期望尚未确认。

privacy-reviewed ​

数据使用和脱敏已批准。

reproducible ​

在锁定旧版本上稳定重现。

accepted ​

根因、期望和评估器完成评审。

must-pass ​

严重故障,任何候选都必须通过。

deprecated ​

产品规则变化、功能下线或案例无效。

废弃要保留原因和替代案例。

不能静默删除失败历史。

10. 证明案例能够重现 ​

在事故版本上运行:

  • 使用事故时的模型、提示、工具和知识快照。
  • 恢复必要的状态 fixture。
  • 重复运行多次。
  • 确认评估器稳定识别失败。

重现报告:

json
{
  "caseId": "prod-regression-refund-2026-0718-01",
  "reproductionTarget": "support-agent:sha256-91fd",
  "runs": 10,
  "failureCount": 9,
  "evaluatorAgreement": 1,
  "status": "reproducible",
  "knownNondeterminism": "1 次在调用工具前正确拒绝"
}

如果无法重现:

  • 检查环境、数据和模型快照。
  • 检查失败是否由瞬时外部条件造成。
  • 保留为调查案例,不要伪造确定期望。
  • 必要时建立故障注入环境。

11. 修复验证 ​

修复必须同时运行:

  1. 原始最小复现。
  2. 邻域案例。
  3. 所有同簇案例。
  4. 全量关键回归。
  5. 质量、延迟和成本评估。

反过拟合检查 ​

如果修复只识别具体关键词:

  • 改写用户表达。
  • 改变不影响规则的姓名、金额和顺序。
  • 增加无关上下文。
  • 使用另一种语言。
  • 改变工具错误的表述但保留错误码。

修复应依赖状态和规则,不依赖事故原句。

比较根因层 ​

若根因在工具缺少服务端校验,必须增加工具层确定性测试。

仅增加模型回答 Judge 不足以防止副作用。

一个事故通常会产生多个测试:

  • 工具不变量单元测试。
  • Agent 离线案例。
  • 端到端沙箱测试。
  • 生产监控告警。

12. 完整实例:越权知识库摘要 ​

12.1 生产信号 ​

一名外部协作者请求:

总结项目最近的风险和预算变化。

Agent 检索结果混入内部预算文档,并在回答中泄露预算区间。

监控发现返回引用的文档 ACL 与用户主体不匹配。

12.2 立即处理 ​

  • 停止相关检索路由。
  • 撤销受影响缓存。
  • 限制日志访问。
  • 启动安全事件流程。
  • 不在普通缺陷看板复制原文。

12.3 根因 ​

调查发现:

  1. 向量索引保存项目 ID,但没有保存文档 ACL 版本。
  2. 检索后过滤仅按项目成员检查。
  3. 外部协作者是项目成员,但无预算文档权限。
  4. 模型和提示无法修复已经泄露到上下文的数据。

根因在检索授权,不是摘要语言。

12.4 脱敏重现 ​

创建合成项目:

  • doc-public-risk:外部成员可读。
  • doc-internal-budget:仅内部财务可读。
  • actor-external-01:项目外部协作者。

案例不包含真实项目名、预算或成员。

保留“同项目、不同文档 ACL”的关键关系。

12.5 多层测试 ​

  • 检索单元测试:返回前按主体和文档 ACL 过滤。
  • Agent 案例:外部协作者请求综合摘要。
  • 对抗案例:用户明确要求“包括内部预算”。
  • 权限变化案例:检索期间撤销权限。
  • 缓存案例:内部用户先查询后,外部用户不得命中其结果。

12.6 修复门槛 ​

所有权限案例必须通过。

Judge 只评估回答是否清楚解释无法提供受限信息。

是否泄露由确定性文档 ID 和 ACL 检查判定。

12.7 生产确认 ​

灰度期间监控:

  • ACL 不匹配引用数必须为 0。
  • 受限检索过滤率。
  • 合法公开文档召回率。
  • 拒答率是否异常升高。
  • 查询延迟变化。

修复不能通过“所有外部用户都拒答”来实现。

近邻正常案例确保公开信息仍可用。

13. 发布后的闭环验证 ​

离线通过后还要定义生产验收窗口。

记录:

  • 修复版本上线时间。
  • 受影响流量。
  • 原故障信号率。
  • 邻近错误率。
  • 新增拒答或转人工率。
  • 回滚阈值。

如果线上故障率没有下降:

  • 离线案例可能不代表真实分布。
  • 根因可能不完整。
  • 修复可能未进入实际路由。
  • 监控指标可能错误。

不能仅凭 CI 绿色关闭事故。

14. 评估集权重与频率 ​

真实失败会重复出现。

保留代表性案例,同时避免单一事故簇支配总体分数。

建议分别报告:

  • 全量分布集。
  • 线上故障回归集。
  • 高严重度必过集。
  • 最近 30 天新增集。

权重不能替代逐桶报告。

严重权限事故即使只占 0.01%,也不能被总体准确率平均掉。

15. 数据保留与访问 ​

至少区分:

  • 原始生产证据库。
  • 脱敏调查工作区。
  • 评估案例仓库。
  • 聚合分析仓库。

每层有不同:

  • 访问组。
  • 保留期限。
  • 审计要求。
  • 导出限制。
  • 删除流程。

用户删除请求或法律保留可能影响原始证据。

合成案例若不再包含个人数据,可以独立保留,但要经过正式判定。

16. 失败边界 ​

反馈选择偏差 ​

只有愿意投诉的用户进入数据。

需要随机抽样和任务结果监控补充。

聚类吞掉严重离群点 ​

高频普通故障可能掩盖低频严重事件。

严重度先于聚类权重。

脱敏破坏复现 ​

关键关系被替换后,测试不再触发。

要做语义保持审查。

直接训练污染 ​

若评估案例被用于训练或提示优化,必须保留独立测试集。

不能再把同一案例当无污染证据。

期望规则变化 ​

政策更新后,旧案例期望可能失效。

案例要绑定规则版本并复审。

只修模型提示 ​

权限、交易和副作用问题必须在权威服务层修复。

日志不足 ​

缺少模型、提示、工具和知识版本时无法复现。

先修可观测性,再声称完成根因分析。

原始数据长期滞留 ​

“以后可能有用”不是无限保存理由。

按用途和政策自动过期。

17. 闭环看板 ​

每个失败簇显示:

字段内容
簇 ID稳定身份
首次与最近发生趋势
频率和严重度优先级
受影响版本范围
隐私审查是否可进入评估
根因状态已确认或假设
案例状态candidate 到 must-pass
修复版本不可变构建
离线结果原版本失败、修复版本通过
生产结果灰度与全量指标

关闭条件:

  • 根因已确认。
  • 修复覆盖正确层。
  • 回归案例已加入。
  • 事故版本可重现。
  • 修复版本通过邻域和全量回归。
  • 生产指标在观察窗内恢复。
  • 后续所有者和复审时间明确。

18. 实践任务 ​

模拟一个工具型 Agent 的五类生产失败:

  • 权限拒绝。
  • 工具超时。
  • 过时知识。
  • 错误副作用。
  • 用户认为回答无帮助。

完成:

  1. 设计最小生产事件合同。
  2. 为每类信号确定证据强度。
  3. 对事件做字段级脱敏。
  4. 生成确定性指纹并进行人工聚类。
  5. 对一个高风险簇完成分层根因分析。
  6. 创建最小复现、正常近邻、边界和对抗案例。
  7. 在事故版本上重复十次证明可重现。
  8. 实现跨层修复并运行全量回归。
  9. 定义灰度监控和回滚阈值。
  10. 给出关闭事故所需的生产证据。

最终产物不能包含真实用户数据。

每个评估案例都应能说明来源簇、脱敏方式、期望规则、风险等级和生命周期状态。

来源 ​

从前端走向软件产品工程的长期路线图。