Skip to content

可选的可用性测试 ​

可用性测试让代表性参与者使用产品或原型完成具体任务,观察任务成功、错误、理解与恢复。它是验证设计假设的一种方法,不是个人学习每次迭代的强制步骤,也不等同于用户访谈。没有招募条件时,可以先用认知走查、启发式评估、无障碍审计、公开证据、任务日志和数据验证。

何时值得使用 ​

  • 关键问题取决于用户是否理解、发现或预测结果;
  • 检查者对用户知识和语言存在明显不确定;
  • 多个方案在内部评审中无法用规则决定;
  • 高风险流程需要观察错误和恢复;
  • 数据显示问题位置但无法解释原因;
  • 上线前需要验证端到端任务。

不适合用可用性测试替代:

  • 确定的业务规则、授权与安全校验;
  • 自动化可验证的代码与数据不变量;
  • 性能容量、兼容性和 WCAG 合规全量判断;
  • 市场需求规模或统计因果实验。

测试形式 ​

形式特点适用限制
主持远程/现场可观察并追问关键理解复杂流程、早期原型、恢复主持影响行为,安排成本较高
非主持远程按脚本独立完成稳定原型、入口与任务结果难以理解卡点原因,需可靠埋点
走廊/同伴测试快速取得初步反馈明显发现与文案问题参与者通常不代表目标用户
基准任务使用稳定任务与指标重复测量版本前后比较需控制任务、样本与学习效应

选择形式取决于问题,不应为了追求“正式”增加无关环节。

基本流程 ​

mermaid
flowchart LR
    Q["研究问题与风险"] --> P["参与者、任务与原型"]
    P --> S["试运行脚本和数据"]
    S --> T["执行并观察"]
    T --> A["按行为和结果分析"]
    A --> D["修复、补证与复测"]

写研究问题 ​

研究问题必须可观察:

  • 用户能否从通知进入正确任务?
  • 用户怎样区分上传完成与处理完成?
  • 部分成功后能否只修正失败项?
  • 用户能否在无鼠标时定位和修正错误?

“用户喜欢哪个颜色”“这个设计是否直观”不能直接指导任务验证。

参与者条件 ​

根据任务选择必要条件:

  • 角色、经验、设备和语言;
  • 是否使用辅助技术;
  • 是否具备任务所需知识;
  • 不需要收集的敏感人口信息应避免收集。

样本数量取决于研究问题、用户差异、风险和迭代方式。不存在适用于所有测试的固定人数。小样本适合发现问题,不适合精确估计总体发生率。

任务设计 ​

任务包含场景、目标、输入和完成结果,不提供界面步骤。

text
你负责 Roadmap 项目。请把 li@example.com 和 wang@example.com 邀请为编辑者,并确认邀请结果。

不要写:“点击右上角邀请按钮,粘贴邮箱并提交。”

固定数据 ​

准备真实长度、无效、重复、权限和错误数据。每位参与者使用独立或可重置账户,防止前一场结果污染后一场。

完成标准 ​

在测试前定义成功、错误成功、部分成功、失败、放弃、结果未知和非计划帮助。

主持与观察 ​

开场 ​

说明测试的是产品而不是参与者;可以随时停止;如何录制、保存与使用数据;不要索取真实密码、支付和敏感信息。

中性提示 ​

当参与者停住时,可说“请说说你现在在找什么”或“你认为刚才发生了什么”。不要提示按钮位置、肯定答案或解释设计。

出声思考 ​

可用于理解预测和判断,但会改变自然节奏与时间。若时间是主要指标,减少持续口述,改在关键节点追问。

记录 ​

  • 首次动作和路径;
  • 预测、判断与实际结果;
  • 错误、返回、绕过和恢复;
  • 帮助的具体内容;
  • 系统或原型故障;
  • 任务结果与权威数据。

观察事实与解释分开。皱眉不能直接编码为“困惑”,应记录停顿、返回和说出的理解。

伦理、隐私与安全 ​

  • 取得明确同意并说明录制、用途、保留与撤回;
  • 只收集研究问题需要的数据;
  • 使用测试账户、合成数据和安全环境;
  • 不记录密码、验证码、支付信息和真实敏感文件;
  • 限制录像、转录与日志访问,按计划删除;
  • 为无障碍需求提供合理安排;
  • 高风险任务不让参与者承担真实损失。

个人学习邀请朋友参与也应尊重同意与隐私,不因非商业项目降低标准。

分析方法 ​

先按任务结果 ​

每场标记成功类别、严重错误、帮助和恢复。实际对象状态优先于参与者口头“完成了”。

再按机制聚类 ​

将问题按入口、术语、信息层级、状态、错误、权限和恢复聚类。不要按参与者评价好坏计票。

证据强度 ​

记录出现在哪些角色、任务和条件下;单次严重数据风险即使频率低也值得优先处理。小样本不计算精确总体百分比。

与其他数据结合 ​

行为数据检查范围,支持问题检查长期影响,日志解释工程机制,无障碍审计检查规范。可用性测试不替代这些方法。

完整案例:测试部分成功的成员邀请 ​

研究问题 ​

  1. 项目管理员能否一次输入多个邮箱?
  2. 能否理解有效、已有成员、无效和服务失败的不同结果?
  3. 能否只重试失败项,避免重复邀请?

参与者与环境 ​

计划邀请 4 名日常管理项目但未用过此功能的参与者;结果仅用于问题发现,不估计总体比例。使用桌面 Chrome;其中一场要求仅用键盘,以检查路径问题,但完整无障碍结论由单独审计提供。

固定任务数据 ​

text
li@example.com:有效
wang@example.com:有效
bad-address:格式错误
member@example.com:已是成员
timeout@example.com:暂时服务失败
角色:编辑者

完成标准:修正格式后创建 3 个新邀请;已有成员不重复;超时项重试后成功;最终成员页可确认。

任务脚本 ​

“你需要让给定的 5 个地址参与 Roadmap 项目,并能够编辑任务。请处理所有地址,确认哪些已经生效、哪些仍需处理。”

观察记录示例 ​

步骤事实解释假设
粘贴5 行正确拆分多值输入可理解
提交bad-address 错误出现后修正错误文本支持恢复
结果参与者把“已有成员”也当新邀请结果分组/术语可能不清
重试选择“重新提交全部”与“只重试失败项”动作难区分
检查成员页出现 3 个待接受权威结果正确

修复 ​

  • 分组为“新邀请已发送”“已经是成员”“需要重试”;
  • 每组显示数量与对象;
  • 只提供一个主要动作“重试 1 个失败项”;
  • 已成功项移出可提交集合;
  • 状态消息朗读完整结果而不是“成功”。

失败分支 ​

一场中原型服务不可用,所有结果变为失败。该场标记为系统故障,不计入设计任务结果;保留观察到的错误恢复证据。另一场参与者因测试账户已有残留邀请看到不同结果,说明数据重置流程失败,必须重置后重测。

输出边界 ​

可以写:“在这组任务中,多名参与者把‘已有成员’误解为新邀请,且‘重新提交全部’导致错误选择;修复后需复测。”不能写:“所有用户都不理解部分成功。”

测试报告模板 ​

markdown
- 研究问题:
- 参与者条件与数量:
- 环境/版本/原型限制:
- 任务/输入/完成标准:
- 同意与数据处理:
- 任务结果:
- 行为事实:
- 机制假设:
- 严重性与范围:
- 系统/原型故障:
- 修复与复测计划:
- 不能推断:

没有参与者时的替代路径 ​

  1. 用认知走查检查首次行动和反馈。
  2. 用启发式评估检查通用原则。
  3. 用 WCAG 审计检查键盘、语义、缩放和状态。
  4. 用公开 Issue、支持和数据寻找真实问题线索。
  5. 用自用任务日志与边界条件检查动态行为。
  6. 把仍需真实理解证据的问题放入未来测试清单。

常见错误与修正 ​

  • 把可用性测试等同用户访谈:以任务行为为核心。
  • 任务泄露路径:删除页面和按钮名称。
  • 参与者使用真实账户与敏感数据:提供测试环境。
  • 主持人立即帮助或解释:使用中性提示并记录帮助。
  • 原型故障算用户失败:单独分类并重测。
  • 小样本计算精确总体比例。
  • 只听偏好,不检查任务权威结果。
  • 认为没有条件测试就停止迭代:使用替代验证方法。

可执行步骤 ​

  1. 判断问题是否需要真实任务理解证据。
  2. 写研究问题、参与者条件、风险和数据处理。
  3. 准备不泄露路径的任务、固定数据与完成标准。
  4. 试运行原型、账户重置和失败状态。
  5. 使用中性脚本观察动作、判断、错误和恢复。
  6. 分离行为事实、解释、帮助和系统故障。
  7. 按机制聚类并结合日志、规范和数据补证。
  8. 修复后使用相同任务、口径和安全条件复测。

练习与完成标准 ​

为“首次创建并保存恢复代码”写一份可选可用性测试计划。

完成时应满足:

  • 研究问题聚焦发现、理解、保存和恢复,不询问泛化喜好;
  • 参与者条件与样本用途明确,不承诺代表总体;
  • 任务不泄露设置路径;
  • 使用测试账户和合成代码,不记录真实认证信息;
  • 成功标准含重新进入和恢复结果;
  • 覆盖验证码错误、下载失败和会话过期;
  • 同时写明没有参与者时的认知走查、无障碍与边界替代方案。

来源 ​

从前端走向软件产品工程的长期路线图。