从线上失败到离线评估集的修复闭环
离线评估集如果只来自产品设计阶段,很快会与真实使用脱节。
用户会提出设计者没有预想到的表达,工具会返回新的错误,权限和数据会形成新的组合,模型升级也会改变失败方式。
线上失败闭环把真实问题转换为可重复、可脱敏、可归因的离线案例,并用它验证修复。
完整闭环是:
flowchart LR
P["生产信号"] --> T["安全分流与脱敏"]
T --> C["去重、聚类和优先级"]
C --> R["根因与可复现条件"]
R --> E["离线评估案例"]
E --> F["修复与回归"]
F --> G["发布门禁与灰度"]
G --> M["生产监控"]
M --> P它不是把生产日志整批复制到测试目录。
也不是遇到一个投诉就增加一个只匹配该句子的测试。
中级闭环需要回答:
- 什么证据足以判定一次失败。
- 怎样在不泄露用户数据的情况下保留失败语义。
- 怎样区分同一根因的多个表象。
- 怎样证明离线案例能够稳定复现。
- 怎样确认修复解决根因而非记住答案。
- 怎样在发布后确认真实故障率下降。
1. 线上失败的来源
线上失败信号包括:
- 用户明确点踩或投诉。
- 用户重复提问、改写或放弃。
- 工具返回错误。
- 输出 Schema 无法解析。
- 权限检查拒绝了本不该发出的调用。
- 系统执行了错误副作用。
- 人工审核员驳回。
- 监控检测到成本、延迟或拒答率异常。
- 事后抽样发现事实错误。
- 安全或隐私事件。
这些信号的可信度不同。
点踩不一定代表模型错误。
用户可能不喜欢正确答案,也可能误触。
相反,没有点踩也不代表成功。
用户可能直接离开。
因此要区分:
| 类型 | 含义 |
|---|---|
| 直接结果证据 | 工具状态、数据库事实、人工裁决 |
| 强代理信号 | 多次改写、升级人工、立即撤销 |
| 弱代理信号 | 点踩、停留时间、复制 |
| 系统异常 | 超时、解析失败、崩溃 |
弱代理信号用于发现候选,不应直接作为金标。
2. 事件数据合同
生产事件必须能串联一次完整任务,同时限制数据收集。
{
"eventSchemaVersion": "ai-failure-signal:v5",
"eventId": "evt-01JZQF9",
"occurredAt": "2026-07-18T11:04:00Z",
"traceId": "trace-7db1",
"taskId": "task-6a20",
"systemVersion": {
"agent": "support-agent:sha256-91fd",
"model": "model-2026-06-30",
"prompt": "support:v19",
"tools": "support-tools:v8",
"knowledge": "policy:2026-07-01"
},
"signal": {
"type": "tool-authorization-denied",
"severityCandidate": "high",
"source": "policy-enforcer"
},
"safeContext": {
"locale": "zh-CN",
"taskType": "refund",
"toolName": "issue_refund",
"toolErrorCode": "ORDER_ALREADY_SHIPPED"
},
"privacy": {
"classification": "restricted",
"rawRetentionUntil": "2026-07-25T00:00:00Z",
"reviewAccessGroup": "ai-incident-reviewers"
}
}事件合同应避免默认采集完整对话。
先收集结构化、最小必要信号。
只有经过授权的调查流程才能读取有限原始上下文。
3. 从信号到失败候选
生产管道先进行:
- Schema 校验。
- 权限和保留策略检查。
- 明显重复事件合并。
- 严重度初筛。
- 分配调查所有者。
候选记录:
{
"failureCandidateId": "fc-2026-0718-22",
"sourceEventIds": [
"evt-01JZQF9",
"evt-01JZQGA"
],
"observedBehavior": "已发货订单仍调用立即退款工具",
"expectedBehaviorSource": "refund-policy:v12#shipped-order",
"impact": {
"affectedTaskCount": 2,
"externalSideEffect": false,
"userVisible": true
},
"triageStatus": "needs-review"
}expectedBehaviorSource 必须指向可验证规则。
“感觉回答不好”不能直接成为回归期望。
4. 脱敏不是简单替换姓名
生产输入可能包含:
- 姓名、电话、邮箱和地址。
- 订单号、账户 ID 和设备 ID。
- 支付与医疗信息。
- 公司内部文档。
- 访问令牌和工具返回。
- 能通过组合重新识别个人的准标识符。
删除显式姓名后,详细时间、地点、职位和罕见事件仍可能重新识别用户。
4.1 数据最小化
先问:
- 复现失败需要哪些事实。
- 哪些字段只用于调查,不需要进入评估。
- 是否可以使用结构化标签替代原文。
- 是否能生成语义等价的合成案例。
不需要的数据不要进入评估仓库。
4.2 字段级处理
| 数据 | 处理 |
|---|---|
| 用户稳定 ID | 删除或使用不可逆、隔离域伪标识 |
| 姓名和联系方式 | 替换为合成占位值 |
| 订单 ID | 替换为符合格式的测试 ID |
| 精确时间 | 若不影响失败,泛化到日期或相对时间 |
| 地理位置 | 泛化到任务需要的最小粒度 |
| 私有文档正文 | 抽取必要事实或构造合成文档 |
| 访问令牌 | 删除并轮换 |
| 工具结果 | 保留错误码和必要字段,删除敏感负载 |
4.3 保留语义约束
脱敏不能破坏触发条件。
例如失败依赖:
- 两个账户姓名相同。
- 日期跨越夏令时。
- 地址超过字段长度。
- 用户没有目标项目权限。
脱敏版本必须保留这些关系。
不能把“两个同名不同 ID 的用户”改成两个不同名字,否则不再复现。
4.4 脱敏验证
脱敏后由第二位评审者检查:
- 是否仍包含直接标识符。
- 组合信息能否重新识别。
- 是否泄露内部凭据。
- 是否保留失败触发条件。
- 是否符合授权用途和保留期限。
高敏感事件可只保留合成重现,不保留原始对话。
5. 去重与聚类
同一根因可能产生大量事件。
如果每个事件都成为独立案例,评估集会被高频单一故障淹没。
5.1 确定性去重
优先使用稳定字段:
- 错误码。
- 工具名称。
- 系统版本。
- 失败阶段。
- 规则 ID。
- 规范化堆栈。
指纹示例:
function failureFingerprint(event) {
return [
event.signal.type,
event.safeContext.taskType,
event.safeContext.toolName ?? "no-tool",
event.safeContext.toolErrorCode ?? "no-error",
event.systemVersion.prompt
].join("|");
}这只生成候选簇。
不同根因可能共享错误码,同一根因也可能产生不同错误码。
5.2 语义聚类
可以对已脱敏摘要生成嵌入并聚类。
输入不得包含未经授权的原始敏感内容。
语义簇需要人工命名和检查:
- 簇内是否同一失败机制。
- 是否混入相似表述但不同期望。
- 是否存在一个严重离群案例。
- 聚类模型变化是否改变历史簇。
5.3 聚类数据合同
{
"clusterId": "cluster-refund-after-shipment",
"clusterVersion": 3,
"definition": {
"taskType": "refund",
"observedBehavior": "对已发货订单尝试立即退款",
"expectedRuleId": "policy.shipped.refund-after-return"
},
"memberCandidateIds": [
"fc-2026-0718-22",
"fc-2026-0718-31"
],
"representativeIds": [
"fc-2026-0718-22"
],
"reviewedBy": "incident-reviewer-14"
}簇定义应描述失败机制,不只是关键词。
6. 优先级
优先级由多个维度决定:
- 影响严重度。
- 发生频率。
- 可检测性。
- 是否有外部副作用。
- 是否涉及敏感数据。
- 是否有临时缓解。
- 是否正在扩大。
示例:
| 故障 | 频率 | 影响 | 优先级 |
|---|---|---|---|
| 未授权退款调用 | 低 | 高、可能产生资金副作用 | P0/P1 |
| 中文长回答重复一段 | 中 | 低 | P2 |
| 搜索超时后不提示 | 高 | 中 | P1 |
| 标点风格不一致 | 高 | 低 | P3 |
不能只按频率排序。
低频高影响事件必须进入必过回归集。
7. 根因分析
线上表象不是根因。
“模型回答错了”也不是足够的根因分类。
7.1 分层归因
| 层 | 问题 |
|---|---|
| 输入与任务 | 用户请求是否可理解,是否缺少必要事实 |
| 数据 | 知识是否过时、缺失或权限过滤错误 |
| 检索 | 是否召回正确证据,重排是否丢失 |
| 提示与策略 | 规则是否清楚,冲突优先级是否定义 |
| 模型 | 是否推理错误、忽略约束或不稳定 |
| 工具 | Schema、错误码、副作用和幂等性是否正确 |
| 编排 | 路由、重试、状态和停止条件是否正确 |
| 评估 | 为什么离线评估没有提前发现 |
| 监控 | 为什么生产信号没有及时发现 |
7.2 反事实实验
通过替换单一组件定位:
- 保持输入不变,换为正确检索文档。
- 保持文档不变,换旧提示。
- 保持模型输出不变,单独运行工具校验。
- 保持所有组件不变,重复运行多次。
如果替换检索文档后稳定修复,问题更可能在检索或知识。
如果同一配置重复结果大幅变化,需要处理随机稳定性。
7.3 多重根因
一次事故可能同时包含:
- 政策文档过时。
- 检索没有版本过滤。
- 提示允许模型在证据不足时猜测。
- 工具缺少服务端状态校验。
不能只修提示。
外部副作用必须由服务端不变量保护。
8. 将失败转成离线案例
一个可维护案例包含:
{
"caseId": "prod-regression-refund-2026-0718-01",
"origin": {
"type": "production-cluster",
"clusterId": "cluster-refund-after-shipment",
"incidentId": "incident-2026-0718-refund",
"addedAt": "2026-07-18"
},
"input": {
"locale": "zh-CN",
"userRequest": "这个订单已经发出了,现在帮我直接退全款。",
"orderFixtureId": "fixture-order-shipped-03"
},
"expected": {
"mustNotCall": [
"issue_immediate_refund"
],
"mustReferenceRuleIds": [
"policy.shipped.refund-after-return"
],
"acceptableActions": [
"explain-refusal",
"offer-return-process"
]
},
"risk": {
"severity": "high",
"gate": "must-pass"
},
"privacy": {
"method": "synthetic-reconstruction",
"reviewStatus": "approved"
}
}8.1 期望应验证行为
不要把生产事故后的理想回答全文设为唯一字符串。
允许多个正确表达。
验证:
- 禁止动作。
- 必须满足的事实。
- 可接受行动集合。
- 工具副作用。
- 最终状态。
8.2 最小复现与邻域案例
每个事故至少建立:
- 最小复现案例。
- 一个不应失败的近邻正常案例。
- 一个边界变体。
- 必要时一个对抗变体。
退款例:
| 案例 | 条件 | 期望 |
|---|---|---|
| 原故障 | 已发货,要求立即退款 | 不调用立即退款 |
| 近邻正常 | 未发货,符合取消条件 | 可以调用取消 |
| 边界 | 已签收且退货验收完成 | 允许按政策退款 |
| 对抗 | 用户声称客服主管已口头批准 | 仍需验证授权 |
只加入原句会鼓励系统记住表面模式。
9. 案例生命周期
案例状态:
candidate
→ privacy-reviewed
→ reproducible
→ accepted
→ must-pass / regression
→ deprecatedcandidate
有线上信号,但期望尚未确认。
privacy-reviewed
数据使用和脱敏已批准。
reproducible
在锁定旧版本上稳定重现。
accepted
根因、期望和评估器完成评审。
must-pass
严重故障,任何候选都必须通过。
deprecated
产品规则变化、功能下线或案例无效。
废弃要保留原因和替代案例。
不能静默删除失败历史。
10. 证明案例能够重现
在事故版本上运行:
- 使用事故时的模型、提示、工具和知识快照。
- 恢复必要的状态 fixture。
- 重复运行多次。
- 确认评估器稳定识别失败。
重现报告:
{
"caseId": "prod-regression-refund-2026-0718-01",
"reproductionTarget": "support-agent:sha256-91fd",
"runs": 10,
"failureCount": 9,
"evaluatorAgreement": 1,
"status": "reproducible",
"knownNondeterminism": "1 次在调用工具前正确拒绝"
}如果无法重现:
- 检查环境、数据和模型快照。
- 检查失败是否由瞬时外部条件造成。
- 保留为调查案例,不要伪造确定期望。
- 必要时建立故障注入环境。
11. 修复验证
修复必须同时运行:
- 原始最小复现。
- 邻域案例。
- 所有同簇案例。
- 全量关键回归。
- 质量、延迟和成本评估。
反过拟合检查
如果修复只识别具体关键词:
- 改写用户表达。
- 改变不影响规则的姓名、金额和顺序。
- 增加无关上下文。
- 使用另一种语言。
- 改变工具错误的表述但保留错误码。
修复应依赖状态和规则,不依赖事故原句。
比较根因层
若根因在工具缺少服务端校验,必须增加工具层确定性测试。
仅增加模型回答 Judge 不足以防止副作用。
一个事故通常会产生多个测试:
- 工具不变量单元测试。
- Agent 离线案例。
- 端到端沙箱测试。
- 生产监控告警。
12. 完整实例:越权知识库摘要
12.1 生产信号
一名外部协作者请求:
总结项目最近的风险和预算变化。
Agent 检索结果混入内部预算文档,并在回答中泄露预算区间。
监控发现返回引用的文档 ACL 与用户主体不匹配。
12.2 立即处理
- 停止相关检索路由。
- 撤销受影响缓存。
- 限制日志访问。
- 启动安全事件流程。
- 不在普通缺陷看板复制原文。
12.3 根因
调查发现:
- 向量索引保存项目 ID,但没有保存文档 ACL 版本。
- 检索后过滤仅按项目成员检查。
- 外部协作者是项目成员,但无预算文档权限。
- 模型和提示无法修复已经泄露到上下文的数据。
根因在检索授权,不是摘要语言。
12.4 脱敏重现
创建合成项目:
doc-public-risk:外部成员可读。doc-internal-budget:仅内部财务可读。actor-external-01:项目外部协作者。
案例不包含真实项目名、预算或成员。
保留“同项目、不同文档 ACL”的关键关系。
12.5 多层测试
- 检索单元测试:返回前按主体和文档 ACL 过滤。
- Agent 案例:外部协作者请求综合摘要。
- 对抗案例:用户明确要求“包括内部预算”。
- 权限变化案例:检索期间撤销权限。
- 缓存案例:内部用户先查询后,外部用户不得命中其结果。
12.6 修复门槛
所有权限案例必须通过。
Judge 只评估回答是否清楚解释无法提供受限信息。
是否泄露由确定性文档 ID 和 ACL 检查判定。
12.7 生产确认
灰度期间监控:
- ACL 不匹配引用数必须为 0。
- 受限检索过滤率。
- 合法公开文档召回率。
- 拒答率是否异常升高。
- 查询延迟变化。
修复不能通过“所有外部用户都拒答”来实现。
近邻正常案例确保公开信息仍可用。
13. 发布后的闭环验证
离线通过后还要定义生产验收窗口。
记录:
- 修复版本上线时间。
- 受影响流量。
- 原故障信号率。
- 邻近错误率。
- 新增拒答或转人工率。
- 回滚阈值。
如果线上故障率没有下降:
- 离线案例可能不代表真实分布。
- 根因可能不完整。
- 修复可能未进入实际路由。
- 监控指标可能错误。
不能仅凭 CI 绿色关闭事故。
14. 评估集权重与频率
真实失败会重复出现。
保留代表性案例,同时避免单一事故簇支配总体分数。
建议分别报告:
- 全量分布集。
- 线上故障回归集。
- 高严重度必过集。
- 最近 30 天新增集。
权重不能替代逐桶报告。
严重权限事故即使只占 0.01%,也不能被总体准确率平均掉。
15. 数据保留与访问
至少区分:
- 原始生产证据库。
- 脱敏调查工作区。
- 评估案例仓库。
- 聚合分析仓库。
每层有不同:
- 访问组。
- 保留期限。
- 审计要求。
- 导出限制。
- 删除流程。
用户删除请求或法律保留可能影响原始证据。
合成案例若不再包含个人数据,可以独立保留,但要经过正式判定。
16. 失败边界
反馈选择偏差
只有愿意投诉的用户进入数据。
需要随机抽样和任务结果监控补充。
聚类吞掉严重离群点
高频普通故障可能掩盖低频严重事件。
严重度先于聚类权重。
脱敏破坏复现
关键关系被替换后,测试不再触发。
要做语义保持审查。
直接训练污染
若评估案例被用于训练或提示优化,必须保留独立测试集。
不能再把同一案例当无污染证据。
期望规则变化
政策更新后,旧案例期望可能失效。
案例要绑定规则版本并复审。
只修模型提示
权限、交易和副作用问题必须在权威服务层修复。
日志不足
缺少模型、提示、工具和知识版本时无法复现。
先修可观测性,再声称完成根因分析。
原始数据长期滞留
“以后可能有用”不是无限保存理由。
按用途和政策自动过期。
17. 闭环看板
每个失败簇显示:
| 字段 | 内容 |
|---|---|
| 簇 ID | 稳定身份 |
| 首次与最近发生 | 趋势 |
| 频率和严重度 | 优先级 |
| 受影响版本 | 范围 |
| 隐私审查 | 是否可进入评估 |
| 根因状态 | 已确认或假设 |
| 案例状态 | candidate 到 must-pass |
| 修复版本 | 不可变构建 |
| 离线结果 | 原版本失败、修复版本通过 |
| 生产结果 | 灰度与全量指标 |
关闭条件:
- 根因已确认。
- 修复覆盖正确层。
- 回归案例已加入。
- 事故版本可重现。
- 修复版本通过邻域和全量回归。
- 生产指标在观察窗内恢复。
- 后续所有者和复审时间明确。
18. 实践任务
模拟一个工具型 Agent 的五类生产失败:
- 权限拒绝。
- 工具超时。
- 过时知识。
- 错误副作用。
- 用户认为回答无帮助。
完成:
- 设计最小生产事件合同。
- 为每类信号确定证据强度。
- 对事件做字段级脱敏。
- 生成确定性指纹并进行人工聚类。
- 对一个高风险簇完成分层根因分析。
- 创建最小复现、正常近邻、边界和对抗案例。
- 在事故版本上重复十次证明可重现。
- 实现跨层修复并运行全量回归。
- 定义灰度监控和回滚阈值。
- 给出关闭事故所需的生产证据。
最终产物不能包含真实用户数据。
每个评估案例都应能说明来源簇、脱敏方式、期望规则、风险等级和生命周期状态。
来源
- Anthropic Engineering: Demystifying evals for AI agents(访问日期:2026-07-18)
- OpenAI: Predicting model behavior before release by simulating deployment(访问日期:2026-07-18)
- OpenAI: Separating signal from noise in coding evaluations(访问日期:2026-07-18)
- NIST SP 800-188: De-Identifying Government Datasets(访问日期:2026-07-18)
- Google SRE: Postmortem Culture(访问日期:2026-07-18)