在同一次评估中联合测量质量、延迟与成本
AI 系统的候选版本不能只用质量分数比较。
一个答案更准确,但首个 token 等待时间增加三倍、工具调用次数翻倍、单次任务成本超过业务上限,仍然可能无法发布。
质量、延迟和成本必须在同一次实验、同一批案例、同一运行合同中联合记录。
分开运行三组实验会引入不可比较条件:
- 输入样本不同。
- 模型快照不同。
- 缓存命中不同。
- 服务负载不同。
- 工具和检索数据版本不同。
- 失败重试策略不同。
联合评估的目标不是把三个指标机械加权成一个总分。
目标是回答:
- 质量改善发生在哪些任务。
- 改善付出了多少首 token 延迟、完成延迟和成本。
- 平均值是否掩盖长尾或特定用户群退化。
- 失败、重试和超时是否被成本统计遗漏。
- 候选版本是否处于产品可接受的 Pareto 边界。
1. 三类指标的含义
质量
质量表示任务结果是否满足目标。
它可能来自:
- 确定性检查。
- 单元测试或执行结果。
- 人工评分。
- 已校准的 LLM Judge。
- 用户任务成功代理指标。
质量不是单一通用数字。
问答准确率、引用正确率、工具成功率和拒答正确率不能无条件平均。
延迟
延迟至少分为:
- 请求排队时间。
- 首个 token 时间。
- 完整回答时间。
- 每次工具调用等待时间。
- 用户可见任务完成时间。
- 超时和取消时间。
流式输出中,首个 token 快不代表任务完成快。
Agent 先输出一句状态再执行五分钟工具任务,TTFT 很低,用户任务延迟仍然很高。
成本
成本至少包括:
- 输入 token。
- 输出 token。
- 缓存读取与写入。
- 推理或思考 token。
- 嵌入和重排。
- 搜索、浏览器、代码执行等工具。
- 重试。
- 人工复核。
- 自有基础设施时间。
价格表会变化。
评估结果应同时保存原始用量和按某个价格版本计算的金额。
只保存金额会导致历史结果无法按新价格重算。
2. 统一运行数据合同
每次案例运行保存一个不可变记录:
{
"runId": "run-01JZQ91",
"experimentId": "support-agent-v18-v19",
"caseId": "refund-shipped-017",
"candidateId": "support-agent:v19",
"attempt": 1,
"bucketIds": [
"locale:zh-CN",
"risk:policy",
"complexity:tool-2",
"input-size:4k-16k"
],
"environment": {
"region": "ap-southeast",
"modelSnapshot": "model-2026-06-30",
"promptVersion": "support:v19",
"toolsetVersion": "support-tools:v8",
"knowledgeVersion": "policy:2026-07-01",
"cacheMode": "cold"
},
"timing": {
"clientStartMs": 1784365200123,
"serverAcceptedMs": 1784365200184,
"firstTokenMs": 1784365200810,
"completedMs": 1784365202912
},
"usage": {
"inputTokens": 4320,
"cachedInputTokens": 0,
"outputTokens": 486,
"toolCalls": 2,
"toolCostUnits": 2.4
},
"outcome": {
"status": "completed",
"qualitySchemaVersion": "support-quality:v6"
}
}质量结果可以独立生成,但必须通过 runId 关联:
{
"runId": "run-01JZQ91",
"quality": {
"taskSuccess": true,
"policyCorrectness": 1,
"citationPrecision": 1,
"judgeScore": 4,
"judgeVersion": "support-judge:v7"
},
"cost": {
"pricingVersion": "pricebook:2026-07-01",
"modelUsd": 0.0184,
"toolUsd": 0.0040,
"reviewUsd": 0,
"totalUsd": 0.0224
}
}合同中的关键约束
- 所有时间使用单调时钟计算持续时间。
- 墙上时钟用于跨服务关联,不用于直接计算本地耗时。
attempt区分首次调用和重试。- 取消、超时和解析失败也产生运行记录。
- 缓存模式明确标记。
- 成本保留计量单位和价格版本。
- 分桶 ID 在运行前确定,避免看完结果后随意切分。
3. 质量指标要与任务单位一致
单轮问答的单位可能是一个回答。
Agent 的单位通常是一个完整任务。
如果任务需要三次工具调用:
- 第一次调用正确。
- 第二次调用错误后重试。
- 第三次完成目标。
只按最终文本评分会遗漏路径风险和额外成本。
完整任务质量可以拆为:
| 维度 | 示例 |
|---|---|
| 最终结果正确 | 是否创建了正确的退款申请 |
| 约束遵守 | 是否避免未经确认的退款承诺 |
| 路径效率 | 是否进行了无意义的重复查询 |
| 状态完整性 | 失败后是否留下半完成副作用 |
| 用户沟通 | 是否准确说明等待和结果 |
硬失败不能由其他维度平均抵消。
4. 延迟测量
4.1 基本时间点
t0:客户端开始请求
t1:服务端接受请求
t2:模型请求开始
t3:首个可展示 token
t4:最后一个 token
t5:最后一个工具或校验完成
t6:客户端获得最终可用结果可计算:
网络与入口等待 = t1 - t0
首 token 延迟 = t3 - t0
模型生成阶段 = t4 - t2
任务完成延迟 = t6 - t0
后台收尾 = t6 - t4时间点必须有清楚定义。
若两个版本对“完成”的定义不同,结果不可比较。
4.2 分位数
平均延迟会掩盖长尾。
至少报告:
- p50:典型体验。
- p90:较慢的一成。
- p95:常用服务目标观察点。
- p99:极端长尾。
- 超时率。
样本少时,p99 极不稳定。
报告分位数同时要给样本量和置信区间。
4.3 冷缓存与热缓存
检索、提示缓存和工具连接池会改变延迟与成本。
实验必须明确:
- 全部冷缓存。
- 全部热缓存。
- 按生产命中率混合。
不能让基线使用冷缓存、候选使用热缓存。
若真实生产有 60% 命中率,可以分别报告冷、热结果,再按真实流量权重计算。
4.4 流式输出
记录:
- 首个可读 token,而不是协议心跳。
- 首个完整句子时间。
- 最终答案时间。
- 流中断率。
发送空格、状态占位符或固定前缀不能算真实 TTFT 改善。
5. 成本核算
5.1 保留原始用量
成本函数可写为:
function calculateRunCost(usage, pricebook) {
const input = usage.inputTokens * pricebook.inputPerToken;
const cached = usage.cachedInputTokens * pricebook.cachedInputPerToken;
const output = usage.outputTokens * pricebook.outputPerToken;
const tools = usage.toolCalls.reduce(
(sum, call) => sum + pricebook.toolPrices[call.type] * call.quantity,
0
);
return {
input,
cached,
output,
tools,
total: input + cached + output + tools
};
}实际合同还要处理:
- 阶梯价。
- 最低计费单位。
- 批处理折扣。
- 推理 token。
- 不同区域价格。
- 税费是否计入。
5.2 重试成本
一次用户任务可能对应多个模型调用。
成本应按两种视角报告:
- 每次尝试成本。
- 每个最终用户任务成本。
如果候选质量相同,但解析失败导致平均重试 0.4 次,按单次成功调用报告会低估成本。
5.3 失败和取消
超时任务已经消耗的 token 和工具费用必须计入。
用户取消也可能在服务端继续运行。
需要确认取消信号是否真正停止下游调用。
5.4 人工成本
如果系统把 8% 输出送人工复核,人工成本属于运行成本。
可记录:
每任务人工成本 =
进入复核概率
× 平均复核分钟
× 每分钟完全成本不能将自动系统和人工兜底拆成两个独立产品指标。
6. 同次实验的控制变量
基线和候选应使用相同:
- 案例快照。
- 执行时间窗口或随机交错顺序。
- 地区和网络条件。
- 工具数据快照。
- 缓存策略。
- 最大 token 和超时。
- 重试策略。
- 质量评估器版本。
- 成本价格版本。
推荐按案例交错运行:
case-001:随机先运行 baseline,再运行 candidate
case-002:随机先运行 candidate,再运行 baseline这能降低服务负载随时间变化造成的系统偏差。
对于有副作用的 Agent,必须使用隔离环境和独立初始状态。
7. 分桶设计
整体平均值只回答总体流量加权结果。
发布决策还需要知道退化发生在哪里。
7.1 常用分桶
| 维度 | 分桶示例 |
|---|---|
| 语言 | zh-CN、en-US、其他 |
| 输入长度 | 0—1k、1k—4k、4k—16k、16k+ |
| 任务复杂度 | 无工具、单工具、多工具 |
| 风险 | 普通、政策、金融、权限 |
| 用户类型 | 新用户、熟练用户、管理员 |
| 结果 | 成功、超时、拒答、转人工 |
| 缓存 | 冷、热 |
| 工具 | 搜索、数据库、浏览器、代码执行 |
分桶应在实验前定义。
看完结果后创建大量切片容易产生偶然显著差异。
7.2 分桶样本量
每个桶同时报告:
- 样本量。
- 质量指标。
- 延迟分位数。
- 平均和分位成本。
- 失败率。
- 相对基线变化。
样本不足时标记 insufficient_sample。
不要用一个不稳定百分比做发布阻断。
7.3 交叉分桶
“长输入”和“中文”各自没有退化,不代表“中文长输入”没有退化。
交叉分桶要由风险假设驱动。
不能穷举所有维度笛卡尔积。
优先检查:
- 高业务量。
- 高风险。
- 历史已知故障。
- 架构变化直接影响的路径。
8. 联合结果而不是一个魔法总分
8.1 约束式决策
定义硬约束:
政策正确率不得下降。
p95 任务延迟不得超过 8 秒。
每成功任务成本不得超过 0.04 美元。
超时率不得超过 1%。满足硬约束后,再比较改善。
8.2 Pareto 比较
若候选:
- 质量更高。
- 延迟更低。
- 成本更低。
它严格支配基线。
现实中通常是质量改善但成本上升。
此时要展示权衡:
| 版本 | 任务成功率 | p95 延迟 | 每成功任务成本 |
|---|---|---|---|
| baseline | 82.0% | 6.2s | $0.018 |
| candidate | 87.5% | 7.1s | $0.026 |
决策者需要判断 5.5 个百分点改善是否值得延迟和成本变化。
不能用未经验证的权重压缩为 86.3 分。
8.3 每成功任务成本
单请求成本低不代表效率高。
定义:
每成功任务成本 =
所有尝试、失败、重试、工具和人工成本总和
÷ 成功完成的用户任务数这个指标能暴露低价但高失败率方案。
9. 不确定性
每个指标都是有限样本估计。
需要:
- 报告样本量。
- 为质量比例计算置信区间。
- 对延迟和成本使用 bootstrap 区间。
- 成对运行时分析每个案例的差值。
- 避免把微小随机差异写成确定改善。
成对差值示例:
delta_quality_i = candidate_quality_i - baseline_quality_i
delta_latency_i = candidate_latency_i - baseline_latency_i
delta_cost_i = candidate_cost_i - baseline_cost_i同案例比较通常比两个独立总体均值更有统计效率。
10. 完整实例:RAG 客服助手
10.1 候选变化
候选版本:
- 检索从 5 篇增加到 10 篇。
- 增加一个重排模型。
- 生成模型使用更高推理预算。
预期:
- 引用正确率提高。
- 延迟和成本上升。
10.2 实验
案例 1,200 条:
- 中文 700。
- 英文 500。
- 短输入 600。
- 中输入 400。
- 长输入 200。
- 政策高风险 240。
- 无答案 180。
基线与候选按案例交错运行三次。
所有运行使用同一知识库快照。
10.3 结果
| 分桶 | 质量变化 | p95 延迟变化 | 每成功任务成本变化 |
|---|---|---|---|
| 总体 | +3.8pp | +18% | +31% |
| 短输入 | +1.1pp | +8% | +24% |
| 长输入 | +8.4pp | +42% | +55% |
| 无答案 | -2.0pp | +16% | +38% |
| 政策高风险 | +6.2pp | +21% | +34% |
总体质量改善掩盖了无答案任务退化。
长输入收益高,但 p95 已超过产品上限。
10.4 决策
团队不直接全量发布。
采用路由策略:
- 高风险和证据复杂任务使用候选检索链。
- 短输入普通任务保留基线。
- 无答案检测先修复再发布。
- 长输入降低检索数量并重新评估。
新的路由版本需要重新联合测量。
不能用前两次实验的局部指标拼成最终结论。
11. 失败边界
价格变化
历史金额按旧价格计算。
保留原始 token 后才能重算。
服务端批处理
离线吞吐成本不能直接推导在线延迟。
两种部署模式应分别评估。
共享缓存污染
候选先运行可能为基线预热缓存。
需要隔离缓存或随机顺序。
Judge 成本遗漏
质量评估本身也消耗模型调用。
实验成本与生产推理成本应分开报告。
工具费用缺失
搜索、地图和浏览器等第三方费用可能高于模型 token。
必须统一计量。
尾延迟样本不足
几十次运行不能稳定估计 p99。
小样本只报告可支持的分位数。
质量评分延迟
人工结果可能几天后返回。
运行记录必须可通过稳定 ID 补写质量结果。
只保留成功样本
过滤超时、解析失败和取消会同时美化质量、延迟和成本。
所有尝试必须进入分母或明确分层报告。
12. 自动化报告
每次实验输出:
- 实验合同和环境版本。
- 整体质量、延迟和成本。
- 关键分桶。
- 相对基线的成对差值。
- 置信区间。
- 超时、取消、重试和解析失败。
- 样本级可追踪结果。
- 违反硬门槛的桶。
机器可读摘要:
{
"experimentId": "support-agent-v18-v19",
"candidate": "support-agent:v19",
"baseline": "support-agent:v18",
"gates": [
{
"metric": "quality.policy.high-risk",
"status": "pass",
"delta": 0.062
},
{
"metric": "latency.p95.long-input",
"status": "fail",
"valueMs": 9240,
"limitMs": 8000
}
],
"decision": "hold"
}报告中的金额、延迟和质量必须能回溯到同一个 runId 集合。
13. 实践任务
为一个包含模型、检索和两个工具的 Agent 建立联合实验。
要求:
- 至少 300 个案例。
- 基线和候选逐案例交错运行。
- 同时记录 TTFT、任务完成延迟和工具等待。
- 同时记录原始 token、缓存、工具和重试成本。
- 定义至少四个预注册分桶。
- 报告质量比例和 p50/p95 延迟。
- 计算每成功任务成本。
- 找出至少一个整体均值掩盖的桶。
- 给出发布、局部路由或暂缓的决策。
最终产物包括数据合同、原始运行记录、价格表版本、聚合代码、分桶报告和决策说明。
来源
- Holistic Evaluation of Language Models(访问日期:2026-07-18)
- MLCommons: MLPerf Inference(访问日期:2026-07-18)
- The Tail at Scale(访问日期:2026-07-18)
- OpenAI Evals: GDPval(访问日期:2026-07-18)
- Anthropic Engineering: Demystifying evals for AI agents(访问日期:2026-07-18)