Skip to content

在同一次评估中联合测量质量、延迟与成本 ​

AI 系统的候选版本不能只用质量分数比较。

一个答案更准确,但首个 token 等待时间增加三倍、工具调用次数翻倍、单次任务成本超过业务上限,仍然可能无法发布。

质量、延迟和成本必须在同一次实验、同一批案例、同一运行合同中联合记录。

分开运行三组实验会引入不可比较条件:

  • 输入样本不同。
  • 模型快照不同。
  • 缓存命中不同。
  • 服务负载不同。
  • 工具和检索数据版本不同。
  • 失败重试策略不同。

联合评估的目标不是把三个指标机械加权成一个总分。

目标是回答:

  1. 质量改善发生在哪些任务。
  2. 改善付出了多少首 token 延迟、完成延迟和成本。
  3. 平均值是否掩盖长尾或特定用户群退化。
  4. 失败、重试和超时是否被成本统计遗漏。
  5. 候选版本是否处于产品可接受的 Pareto 边界。

1. 三类指标的含义 ​

质量 ​

质量表示任务结果是否满足目标。

它可能来自:

  • 确定性检查。
  • 单元测试或执行结果。
  • 人工评分。
  • 已校准的 LLM Judge。
  • 用户任务成功代理指标。

质量不是单一通用数字。

问答准确率、引用正确率、工具成功率和拒答正确率不能无条件平均。

延迟 ​

延迟至少分为:

  • 请求排队时间。
  • 首个 token 时间。
  • 完整回答时间。
  • 每次工具调用等待时间。
  • 用户可见任务完成时间。
  • 超时和取消时间。

流式输出中,首个 token 快不代表任务完成快。

Agent 先输出一句状态再执行五分钟工具任务,TTFT 很低,用户任务延迟仍然很高。

成本 ​

成本至少包括:

  • 输入 token。
  • 输出 token。
  • 缓存读取与写入。
  • 推理或思考 token。
  • 嵌入和重排。
  • 搜索、浏览器、代码执行等工具。
  • 重试。
  • 人工复核。
  • 自有基础设施时间。

价格表会变化。

评估结果应同时保存原始用量和按某个价格版本计算的金额。

只保存金额会导致历史结果无法按新价格重算。

2. 统一运行数据合同 ​

每次案例运行保存一个不可变记录:

json
{
  "runId": "run-01JZQ91",
  "experimentId": "support-agent-v18-v19",
  "caseId": "refund-shipped-017",
  "candidateId": "support-agent:v19",
  "attempt": 1,
  "bucketIds": [
    "locale:zh-CN",
    "risk:policy",
    "complexity:tool-2",
    "input-size:4k-16k"
  ],
  "environment": {
    "region": "ap-southeast",
    "modelSnapshot": "model-2026-06-30",
    "promptVersion": "support:v19",
    "toolsetVersion": "support-tools:v8",
    "knowledgeVersion": "policy:2026-07-01",
    "cacheMode": "cold"
  },
  "timing": {
    "clientStartMs": 1784365200123,
    "serverAcceptedMs": 1784365200184,
    "firstTokenMs": 1784365200810,
    "completedMs": 1784365202912
  },
  "usage": {
    "inputTokens": 4320,
    "cachedInputTokens": 0,
    "outputTokens": 486,
    "toolCalls": 2,
    "toolCostUnits": 2.4
  },
  "outcome": {
    "status": "completed",
    "qualitySchemaVersion": "support-quality:v6"
  }
}

质量结果可以独立生成,但必须通过 runId 关联:

json
{
  "runId": "run-01JZQ91",
  "quality": {
    "taskSuccess": true,
    "policyCorrectness": 1,
    "citationPrecision": 1,
    "judgeScore": 4,
    "judgeVersion": "support-judge:v7"
  },
  "cost": {
    "pricingVersion": "pricebook:2026-07-01",
    "modelUsd": 0.0184,
    "toolUsd": 0.0040,
    "reviewUsd": 0,
    "totalUsd": 0.0224
  }
}

合同中的关键约束 ​

  • 所有时间使用单调时钟计算持续时间。
  • 墙上时钟用于跨服务关联,不用于直接计算本地耗时。
  • attempt 区分首次调用和重试。
  • 取消、超时和解析失败也产生运行记录。
  • 缓存模式明确标记。
  • 成本保留计量单位和价格版本。
  • 分桶 ID 在运行前确定,避免看完结果后随意切分。

3. 质量指标要与任务单位一致 ​

单轮问答的单位可能是一个回答。

Agent 的单位通常是一个完整任务。

如果任务需要三次工具调用:

  • 第一次调用正确。
  • 第二次调用错误后重试。
  • 第三次完成目标。

只按最终文本评分会遗漏路径风险和额外成本。

完整任务质量可以拆为:

维度示例
最终结果正确是否创建了正确的退款申请
约束遵守是否避免未经确认的退款承诺
路径效率是否进行了无意义的重复查询
状态完整性失败后是否留下半完成副作用
用户沟通是否准确说明等待和结果

硬失败不能由其他维度平均抵消。

4. 延迟测量 ​

4.1 基本时间点 ​

text
t0:客户端开始请求
t1:服务端接受请求
t2:模型请求开始
t3:首个可展示 token
t4:最后一个 token
t5:最后一个工具或校验完成
t6:客户端获得最终可用结果

可计算:

text
网络与入口等待 = t1 - t0
首 token 延迟 = t3 - t0
模型生成阶段 = t4 - t2
任务完成延迟 = t6 - t0
后台收尾 = t6 - t4

时间点必须有清楚定义。

若两个版本对“完成”的定义不同,结果不可比较。

4.2 分位数 ​

平均延迟会掩盖长尾。

至少报告:

  • p50:典型体验。
  • p90:较慢的一成。
  • p95:常用服务目标观察点。
  • p99:极端长尾。
  • 超时率。

样本少时,p99 极不稳定。

报告分位数同时要给样本量和置信区间。

4.3 冷缓存与热缓存 ​

检索、提示缓存和工具连接池会改变延迟与成本。

实验必须明确:

  • 全部冷缓存。
  • 全部热缓存。
  • 按生产命中率混合。

不能让基线使用冷缓存、候选使用热缓存。

若真实生产有 60% 命中率,可以分别报告冷、热结果,再按真实流量权重计算。

4.4 流式输出 ​

记录:

  • 首个可读 token,而不是协议心跳。
  • 首个完整句子时间。
  • 最终答案时间。
  • 流中断率。

发送空格、状态占位符或固定前缀不能算真实 TTFT 改善。

5. 成本核算 ​

5.1 保留原始用量 ​

成本函数可写为:

js
function calculateRunCost(usage, pricebook) {
  const input = usage.inputTokens * pricebook.inputPerToken;
  const cached = usage.cachedInputTokens * pricebook.cachedInputPerToken;
  const output = usage.outputTokens * pricebook.outputPerToken;
  const tools = usage.toolCalls.reduce(
    (sum, call) => sum + pricebook.toolPrices[call.type] * call.quantity,
    0
  );

  return {
    input,
    cached,
    output,
    tools,
    total: input + cached + output + tools
  };
}

实际合同还要处理:

  • 阶梯价。
  • 最低计费单位。
  • 批处理折扣。
  • 推理 token。
  • 不同区域价格。
  • 税费是否计入。

5.2 重试成本 ​

一次用户任务可能对应多个模型调用。

成本应按两种视角报告:

  • 每次尝试成本。
  • 每个最终用户任务成本。

如果候选质量相同,但解析失败导致平均重试 0.4 次,按单次成功调用报告会低估成本。

5.3 失败和取消 ​

超时任务已经消耗的 token 和工具费用必须计入。

用户取消也可能在服务端继续运行。

需要确认取消信号是否真正停止下游调用。

5.4 人工成本 ​

如果系统把 8% 输出送人工复核,人工成本属于运行成本。

可记录:

text
每任务人工成本 =
  进入复核概率
  × 平均复核分钟
  × 每分钟完全成本

不能将自动系统和人工兜底拆成两个独立产品指标。

6. 同次实验的控制变量 ​

基线和候选应使用相同:

  • 案例快照。
  • 执行时间窗口或随机交错顺序。
  • 地区和网络条件。
  • 工具数据快照。
  • 缓存策略。
  • 最大 token 和超时。
  • 重试策略。
  • 质量评估器版本。
  • 成本价格版本。

推荐按案例交错运行:

text
case-001:随机先运行 baseline,再运行 candidate
case-002:随机先运行 candidate,再运行 baseline

这能降低服务负载随时间变化造成的系统偏差。

对于有副作用的 Agent,必须使用隔离环境和独立初始状态。

7. 分桶设计 ​

整体平均值只回答总体流量加权结果。

发布决策还需要知道退化发生在哪里。

7.1 常用分桶 ​

维度分桶示例
语言zh-CN、en-US、其他
输入长度0—1k、1k—4k、4k—16k、16k+
任务复杂度无工具、单工具、多工具
风险普通、政策、金融、权限
用户类型新用户、熟练用户、管理员
结果成功、超时、拒答、转人工
缓存冷、热
工具搜索、数据库、浏览器、代码执行

分桶应在实验前定义。

看完结果后创建大量切片容易产生偶然显著差异。

7.2 分桶样本量 ​

每个桶同时报告:

  • 样本量。
  • 质量指标。
  • 延迟分位数。
  • 平均和分位成本。
  • 失败率。
  • 相对基线变化。

样本不足时标记 insufficient_sample。

不要用一个不稳定百分比做发布阻断。

7.3 交叉分桶 ​

“长输入”和“中文”各自没有退化,不代表“中文长输入”没有退化。

交叉分桶要由风险假设驱动。

不能穷举所有维度笛卡尔积。

优先检查:

  • 高业务量。
  • 高风险。
  • 历史已知故障。
  • 架构变化直接影响的路径。

8. 联合结果而不是一个魔法总分 ​

8.1 约束式决策 ​

定义硬约束:

text
政策正确率不得下降。
p95 任务延迟不得超过 8 秒。
每成功任务成本不得超过 0.04 美元。
超时率不得超过 1%。

满足硬约束后,再比较改善。

8.2 Pareto 比较 ​

若候选:

  • 质量更高。
  • 延迟更低。
  • 成本更低。

它严格支配基线。

现实中通常是质量改善但成本上升。

此时要展示权衡:

版本任务成功率p95 延迟每成功任务成本
baseline82.0%6.2s$0.018
candidate87.5%7.1s$0.026

决策者需要判断 5.5 个百分点改善是否值得延迟和成本变化。

不能用未经验证的权重压缩为 86.3 分。

8.3 每成功任务成本 ​

单请求成本低不代表效率高。

定义:

text
每成功任务成本 =
  所有尝试、失败、重试、工具和人工成本总和
  ÷ 成功完成的用户任务数

这个指标能暴露低价但高失败率方案。

9. 不确定性 ​

每个指标都是有限样本估计。

需要:

  • 报告样本量。
  • 为质量比例计算置信区间。
  • 对延迟和成本使用 bootstrap 区间。
  • 成对运行时分析每个案例的差值。
  • 避免把微小随机差异写成确定改善。

成对差值示例:

text
delta_quality_i = candidate_quality_i - baseline_quality_i
delta_latency_i = candidate_latency_i - baseline_latency_i
delta_cost_i = candidate_cost_i - baseline_cost_i

同案例比较通常比两个独立总体均值更有统计效率。

10. 完整实例:RAG 客服助手 ​

10.1 候选变化 ​

候选版本:

  • 检索从 5 篇增加到 10 篇。
  • 增加一个重排模型。
  • 生成模型使用更高推理预算。

预期:

  • 引用正确率提高。
  • 延迟和成本上升。

10.2 实验 ​

案例 1,200 条:

  • 中文 700。
  • 英文 500。
  • 短输入 600。
  • 中输入 400。
  • 长输入 200。
  • 政策高风险 240。
  • 无答案 180。

基线与候选按案例交错运行三次。

所有运行使用同一知识库快照。

10.3 结果 ​

分桶质量变化p95 延迟变化每成功任务成本变化
总体+3.8pp+18%+31%
短输入+1.1pp+8%+24%
长输入+8.4pp+42%+55%
无答案-2.0pp+16%+38%
政策高风险+6.2pp+21%+34%

总体质量改善掩盖了无答案任务退化。

长输入收益高,但 p95 已超过产品上限。

10.4 决策 ​

团队不直接全量发布。

采用路由策略:

  • 高风险和证据复杂任务使用候选检索链。
  • 短输入普通任务保留基线。
  • 无答案检测先修复再发布。
  • 长输入降低检索数量并重新评估。

新的路由版本需要重新联合测量。

不能用前两次实验的局部指标拼成最终结论。

11. 失败边界 ​

价格变化 ​

历史金额按旧价格计算。

保留原始 token 后才能重算。

服务端批处理 ​

离线吞吐成本不能直接推导在线延迟。

两种部署模式应分别评估。

共享缓存污染 ​

候选先运行可能为基线预热缓存。

需要隔离缓存或随机顺序。

Judge 成本遗漏 ​

质量评估本身也消耗模型调用。

实验成本与生产推理成本应分开报告。

工具费用缺失 ​

搜索、地图和浏览器等第三方费用可能高于模型 token。

必须统一计量。

尾延迟样本不足 ​

几十次运行不能稳定估计 p99。

小样本只报告可支持的分位数。

质量评分延迟 ​

人工结果可能几天后返回。

运行记录必须可通过稳定 ID 补写质量结果。

只保留成功样本 ​

过滤超时、解析失败和取消会同时美化质量、延迟和成本。

所有尝试必须进入分母或明确分层报告。

12. 自动化报告 ​

每次实验输出:

  1. 实验合同和环境版本。
  2. 整体质量、延迟和成本。
  3. 关键分桶。
  4. 相对基线的成对差值。
  5. 置信区间。
  6. 超时、取消、重试和解析失败。
  7. 样本级可追踪结果。
  8. 违反硬门槛的桶。

机器可读摘要:

json
{
  "experimentId": "support-agent-v18-v19",
  "candidate": "support-agent:v19",
  "baseline": "support-agent:v18",
  "gates": [
    {
      "metric": "quality.policy.high-risk",
      "status": "pass",
      "delta": 0.062
    },
    {
      "metric": "latency.p95.long-input",
      "status": "fail",
      "valueMs": 9240,
      "limitMs": 8000
    }
  ],
  "decision": "hold"
}

报告中的金额、延迟和质量必须能回溯到同一个 runId 集合。

13. 实践任务 ​

为一个包含模型、检索和两个工具的 Agent 建立联合实验。

要求:

  • 至少 300 个案例。
  • 基线和候选逐案例交错运行。
  • 同时记录 TTFT、任务完成延迟和工具等待。
  • 同时记录原始 token、缓存、工具和重试成本。
  • 定义至少四个预注册分桶。
  • 报告质量比例和 p50/p95 延迟。
  • 计算每成功任务成本。
  • 找出至少一个整体均值掩盖的桶。
  • 给出发布、局部路由或暂缓的决策。

最终产物包括数据合同、原始运行记录、价格表版本、聚合代码、分桶报告和决策说明。

来源 ​

从前端走向软件产品工程的长期路线图。