改版前后对比验证
改版前后对比使用相同任务定义、数据口径、用户范围和观察条件,检查设计变化是否带来预期结果,并监测错误、恢复、可访问性和业务副作用。单纯比较两张截图或两个时间段的总指标,不能证明改版造成变化。
对比对象
任务结果
成功、错误成功、部分成功、失败、放弃和结果未知。完成标准必须在改版前冻结。
过程
入口发现、操作步骤、判断、输入、等待、错误、返回、帮助和恢复。步骤少不一定更好,应结合正确率和风险。
系统结果
对象状态、重复记录、并发冲突、性能、错误码和数据一致性。
可访问性
键盘、焦点、屏幕阅读器、缩放、重排和动态状态。视觉改版可能改善指针路径,却引入 DOM 顺序回归。
业务与运营
支持请求、人工处理、退款、投诉、成本和风险事件。不要只优化点击或转换而忽略错误完成。
验证设计
flowchart LR
H["问题假设"] --> B["冻结基线、任务和口径"]
B --> C["记录改版前结果"]
C --> I["发布或实验改版"]
I --> A["同口径记录改版后"]
A --> G["检查分群、混杂与副作用"]
G --> D["保留、迭代或回滚"]先写改版假设
因为【现状机制与证据】,
我们改变【具体设计】,
预计在【用户/任务/条件】中,
【主要结果】将怎样变化,
同时【护栏指标】不得恶化。例如:“因为上传完成与处理完成混合,用户重复上传;把状态拆为传输、处理和结果,并提供持久任务入口,预计重复导入下降、结果查看提高;最终成功率、键盘完成和处理错误不得恶化。”
冻结口径
任务尝试
定义新尝试怎样识别、重复请求如何去重、跨设备与时间窗口怎样归属。
成功
由权威对象结果产生,不以点击或最后页面访问代替。异步任务在最终状态后计入。
时间
区分主动操作、系统等待和后台完成。记录起止事件、单位、时区和异常值处理。
错误
使用稳定类别,区分输入、权限、冲突、系统、第三方和未知结果。界面错误文案改变不应改变底层分类。
分群
版本、平台、角色、入口、新旧用户、数据量、网络和实验组。总体平均可能掩盖某一群体变差。
选择比较方式
顺序前后比较
在改版前后时间窗观察。实施简单,但容易受季节、流量、营销、价格、支持和基础设施变化影响。
同期对照
将相似合格流量按稳定规则分配到旧新方案,能减少时间变化影响。需要实验治理、样本与伦理/风险判断;高风险安全修复不应为了实验保留已知危险方案。
分阶段发布
按组织、地区或比例逐步发布,比较批次并保留回滚。分组可能不随机,需要记录结构差异。
配对任务比较
同一固定任务和数据在旧新原型或版本执行,适合流程、可学习性和错误机制验证。顺序可能产生学习效应,应平衡顺序或使用不同等价任务。
指标结构
主要指标
直接对应改版假设,例如任务成功、重复提交、错误恢复或结果查看。
诊断指标
解释路径:入口点击、错误类型、阶段等待、返回和重试。它们帮助定位,但不替代主要结果。
护栏指标
防止局部优化伤害其他目标:错误成功、退款、数据丢失、可访问性、性能、支持和风险。
定性证据
认知走查、任务观察、支持问题和状态审计解释“为什么”。数字相关性与定性证据需互相补充。
混杂因素
- 同期价格、规则、营销或用户结构变化;
- 服务性能、故障和第三方变化;
- 事件埋点或成功定义改变;
- 实验污染、用户跨组和缓存;
- 学习、熟悉度和顺序效应;
- 版本分阶段与旧数据迁移;
- 支持入口或工单分类变化;
- 隐私同意导致样本变化。
报告中列出混杂与方向,不用一句“数据上涨所以方案有效”结案。
完整案例:改进批量导入结果入口
假设与基线
现状证据:上传完成后后台仍处理,结果入口藏在成员页菜单;14 天内 2,000 个任务中,服务端最终完成或部分完成 1,740 个,但只有 1,080 个结果被查看;同文件 24 小时内重复导入 180 次。
假设:提供持久任务 ID、当前导入区域和完成通知,将提高结果查看并降低重复导入;最终正确结果和错误修正不得下降。
冻结定义
合格任务:服务端创建的唯一导入任务,测试/内部账户排除
结果查看:用户在最终状态后打开任务详情
重复导入:同项目、同内容哈希在 24 小时内创建新任务
正确完成:服务端逐行结果与成员数据对账一致
错误修正:失败行在 7 天内被修正并成功提交改版
- 上传结束显示任务 ID 和阶段,不显示最终完成。
- 成员页顶部显示最近导入状态与“查看结果”。
- 完成、部分成功和失败通知深链到任务。
- 同内容上传前提示现有任务。
- 任务详情保留逐行结果和失败行重试。
发布设计
按 10%→50%→100% 组织灰度,每阶段至少覆盖一个完整导入周期。分配单位为组织,防止同一团队看到不同入口。安全与幂等修复对全部流量同步发布,不作为实验变量。
结果示例
四周同口径:
| 指标 | 改版前 | 改版后 | 解释限制 |
|---|---|---|---|
| 结果查看 | 62.1% | 81.4% | 同期通知送达稳定;需按平台分群 |
| 24h 重复导入 | 9.0% | 2.8% | 内容哈希规则未变 |
| 正确完成 | 98.7% | 98.8% | 无明显下降 |
| 失败行 7 日修正 | 31.0% | 47.5% | 可能受支持提醒影响 |
| 键盘端到端任务 | 通过 | 通过 | 固定场景手工回归 |
这些数字是案例输入,用于演示计算结构,不是生产事实。真实报告应附查询版本、样本量和不确定性分析。
失败分支与副作用
- 通知增加后部分用户收到过多消息:按任务合并并提供偏好,监测关闭通知与支持。
- 顶部状态区在窄屏把成员列表推到首屏下:检查任务优先级、可折叠摘要和键盘顺序。
- 旧导入任务没有内容哈希:重复提示只适用于新任务,报告要分版本。
- 事件实现错误把通知点击重复计为结果查看:用任务 ID 去重并与服务端访问日志对账。
定性复测
使用固定 100 行、2 行错误 CSV 执行旧新任务;认知走查确认用户能区分上传和处理;键盘与屏幕阅读器检查状态和结果;故障注入验证通知失败不改变导入权威状态。
报告结构
- 改版假设:
- 现状证据:
- 主要/诊断/护栏指标:
- 冻结定义与查询版本:
- 发布与分组:
- 前后结果及样本:
- 分群:
- 定性复测:
- 混杂与数据质量:
- 副作用和失败分支:
- 决策:保留/迭代/回滚常见错误与修正
- 比较截图而非任务结果:冻结输入、流程和完成标准。
- 改版后更换事件或成功口径:重算可比基线或明确断点。
- 只看总体平均:按平台、角色、入口和数据量分群。
- 点击率提高就宣布成功:检查权威完成和错误成功。
- 不设护栏:加入风险、性能、可访问性和支持。
- 忽略同期故障、营销和用户结构变化。
- 为实验保留已知安全或数据风险。
- 指标改善后不执行键盘、状态和故障回归。
可执行步骤
- 写问题机制、具体改动、预期结果和护栏。
- 冻结任务尝试、成功、时间、错误和分群口径。
- 验证埋点与权威数据对账,保存查询版本。
- 选择顺序、同期、灰度或配对比较并说明限制。
- 记录改版前基线和定性问题。
- 发布后按同口径分析主要、诊断与护栏指标。
- 检查混杂、分群、数据质量和非预期影响。
- 用固定任务、键盘、状态与故障复测,决定保留或回滚。
练习与完成标准
验证“表单错误摘要”改版前后效果。
完成时应满足:
- 固定含 5 个字段错误的任务与成功定义;
- 主要指标为正确修正并提交,不只看错误摘要点击;
- 记录首次错误定位、修正、重复提交和错误成功;
- 护栏包含完成时间、输入丢失、键盘和屏幕阅读器;
- 改版前后使用同一数据和服务端校验;
- 报告分群、学习效应和埋点变化;
- 结论同时使用数据与任务观察,说明不能证明的因果范围。
来源
- GOV.UK Service Manual:Define what success looks like and publish performance data(访问日期:2026-07-17)
- GOV.UK Service Manual:Using performance data to improve your service(访问日期:2026-07-17)
- GOV.UK Service Manual:Measuring the success of your service(访问日期:2026-07-17)
- GOV.UK Service Manual:Usability benchmarking a website or whole service(访问日期:2026-07-17)