使用行为分析、热图、搜索、错误与支持数据验证问题
行为分析、热图、站内搜索、错误日志和支持数据从不同角度记录产品使用与故障。它们能定位“哪里发生了什么”,通常不能单独解释用户为什么这样做。有效验证需要先定义任务和事件语义,再用多源数据、具体复现和定性证据解释机制。
数据源与边界
| 数据源 | 能回答 | 不能单独回答 |
|---|---|---|
| 行为分析 | 入口、步骤、完成、放弃、设备和时间分布 | 用户意图、理解和因果 |
| 点击/滚动热图 | 聚合位置上的点击或可见范围 | DOM 语义、任务正确性、单个用户路径 |
| 会话回放 | 某些操作顺序与界面变化 | 用户思考、全部辅助技术行为;有隐私风险 |
| 站内搜索 | 查询语言、无结果、改写和结果点击 | 查询者最终是否正确完成现实目标 |
| 客户端/服务端错误 | 失败类型、频率、环境和调用链 | 用户是否看见或恢复 |
| 支持工单 | 用户描述、影响、绕过和长期问题 | 总体发生率;提交者有自选择偏差 |
GOV.UK 明确建议不要只依赖数字分析,应结合支持、反馈、后台和其他数据。任何数据源都需要明确总体、采样、缺失和隐私边界。
从问题到数据
flowchart LR
Q["任务问题与完成定义"] --> E["事件、属性和错误语义"]
E --> C["采集与质量验证"]
C --> A["分群、漏斗和趋势"]
A --> H["形成原因假设"]
H --> R["回放、支持、日志或任务复现"]
R --> V["改动与前后验证"]先定义完成结果,再设计事件。仅有页面浏览和按钮点击无法判断对象是否真正创建、支付或同步成功。
事件模型
事件名称
使用稳定的业务动作或状态:
import_started
import_upload_completed
import_processing_completed
import_partially_completed
import_failed不要把 DOM 选择器或按钮颜色作为长期事件名。UI 改版后,业务语义仍应可比较。
事件属性
- 任务或对象类型,不上传敏感内容;
- 入口、角色、平台、版本和实验组;
- 结果状态、错误类别和恢复操作;
- 数量、耗时阶段和网络条件;
- 关联 ID 使用安全、受控、可追踪但不公开的标识。
不能把邮箱、搜索全文、密码、令牌、文件内容等直接发送到分析系统。根据法律、隐私政策、同意和最小化原则设计采集。
事件时机
“点击提交”是意图,不是成功。成功事件应在权威结果确认后触发;异步任务分开记录请求已接收、处理中和最终结果。
去重
页面刷新、网络重试和多端上报可能重复事件。使用事件 ID、任务 ID和服务端权威记录去重,说明按用户、会话、任务还是事件聚合。
漏斗与完成率
定义
完成率 = 满足预先定义完成条件的任务数 / 合格任务尝试数必须说明:
- 分子何时产生;
- 分母如何识别新尝试;
- 时间窗口;
- 重试、返回和跨设备怎样归属;
- 不符合资格和机器人如何处理;
- 部分成功算成功、失败还是单独类别。
步骤之间下降只表示记录中的用户未进入下一事件。原因可能是任务完成于别处、事件漏报、主动退出、不符合资格或真实阻碍。
热图和会话回放
热图验证
- 确认位置映射到正确版本、视口和 DOM;
- 按设备和布局分群,避免混合不同坐标;
- 点击密集不等于重要或成功,可能是错误重复点击;
- 无点击不等于不可用,键盘、语音和屏幕阅读器路径可能未记录;
- 滚动深度不等于阅读或理解。
回放验证
回放用于复现某类事件前后的界面状态,而不是窥视个人。需要输入遮罩、敏感区域排除、访问控制、保留期限和审计。采集工具可能不还原 Canvas、Shadow DOM、辅助技术或网络状态,报告需说明限制。
站内搜索数据
检查:
- 查询量、无结果率与改写;
- 查询后点击与任务完成;
- 同义词、拼写、内部术语和敏感查询;
- 搜索结果是否显示足够上下文;
- 无结果后是清除筛选、换词、求助还是离开。
搜索词可以揭示用户语言和信息架构缺口,但可能包含个人或敏感数据,需最小化、脱敏和限制访问。
错误与支持数据
错误分类
将错误分为输入、权限、业务规则、冲突、网络、服务、第三方和未知结果。HTTP 状态码是实现信号,不能直接当用户问题分类。
记录:错误码、版本、阶段、对象类型、请求 ID、是否重试、最终结果和用户可见反馈。堆栈与日志不得进入公开学习笔记。
支持工单
按任务、现象、环境、影响、绕过和结果编码。把“怎么用”“为什么不允许”“结果在哪里”“数据错了”等分开。工单数量受支持入口、用户群和运营变化影响,需结合任务尝试分母。
完整案例:定位批量导入放弃
问题与数据
目标:判断成员导入为什么在“上传完成”后有大量任务没有最终结果。
14 天数据:
import_started:2,000 个唯一任务
upload_completed:1,760
processing_completed:1,100
partially_completed:180
failed:220
没有最终事件:260数据质量检查发现 processing_completed 由前端结果页触发,用户离开后后台成功不会上报,因此“没有最终事件”不能直接解释为失败。
修正事件模型
- 以服务端导入任务为分母,使用任务 ID 去重。
- 最终状态由服务端权威事件产生:complete、partial、failed。
- 前端另记
result_viewed,表示用户看过结果。 - 记录上传、排队、处理和通知的阶段耗时。
修正后同一 2,000 任务:
服务端完成:1,520
部分完成:220
失败:240
仍处理中超过内部阈值:20
结果被查看:1,080多源分析
- 错误日志:失败中 140 个为 CSV 表头错误,80 个权限变化,20 个服务故障。
- 站内搜索:“导入记录”“上传后去哪看”查询在导入用户中明显出现。
- 支持工单:38 个询问上传后结果位置;多数从上传页离开。
- 回放抽样:结果入口只在成员页次级菜单,部分用户重复上传。
这些证据支持“最终任务多已完成,但结果入口和状态通知不足”;它们仍不能说明所有未查看用户都找不到入口,有些可能无需查看。
改动
- 上传完成后显示持久任务 ID 和“可以离开,导入记录中继续查看”。
- 成员页增加当前导入状态区域,而不是只放在菜单。
- 完成、部分成功和失败发送可配置通知,深链到任务。
- 重复文件上传时提示已有任务。
- 修复 CSV 表头在上传前可检查的部分,但服务端继续权威验证。
失败分支
- 分析脚本重复计算客户端和服务端成功:使用任务 ID 与事件来源区分。
- 事件漏报:每日与任务表对账。
- 通知点击高但完成未变:检查用户只是查看,还是能修正失败项。
- 结果入口增加后支持下降:同时检查任务量、版本和支持渠道变化,避免错误归因。
验证输出
发布后比较同一口径:最终状态完整率、结果查看、重复上传、失败修正和支持率。分阶段发布时保留对照组与版本属性;高风险问题不用仅靠指标决定,仍执行键盘、状态和任务复现。
数据质量检查
- 事件文档与实现是否一致;
- 客户端、服务端时间与时区;
- 事件重复、延迟、丢失和顺序;
- 版本、实验组和平台属性;
- 用户/会话/任务 ID 作用域;
- 隐私同意导致的缺失;
- 机器人、内部账户和测试数据;
- 指标查询可重复且有版本控制。
常见错误与修正
- 把点击当成功:用权威对象结果定义完成。
- 漏斗下降直接解释为困惑:补复现、支持或任务证据。
- 混合不同平台、版本和实验组。
- 热图只看颜色,不看视口、DOM 和键盘路径。
- 会话回放采集敏感输入或长期无限保留。
- 用错误数量不除以任务尝试或流量。
- 修改事件定义后仍与旧数据直接比较。
- 只看平均值,隐藏长尾、分群和失败类别。
可执行步骤
- 定义任务、合格尝试、成功、部分成功与失败。
- 设计业务语义事件、属性、时机和去重范围。
- 核对隐私、同意、最小化、保留和访问控制。
- 验证事件与权威数据对账,记录缺失和版本。
- 按平台、角色、版本和入口分析漏斗与错误。
- 使用搜索、支持、回放和复现解释假设。
- 设计改动、失败分支和可比较指标。
- 发布后按同一口径验证,并检查非预期影响。
练习与完成标准
为“搜索并打开文档”建立验证方案。
完成时应满足:
- 定义搜索尝试、有效查询、结果点击和文档成功打开;
- 区分无结果、错误、权限过滤和用户主动离开;
- 事件不采集敏感查询全文或个人数据;
- 站内搜索、错误、支持和任务复现至少三源交叉;
- 按平台、版本和角色分群;
- 事件与搜索后端权威日志完成对账;
- 结论不把相关性写成原因,改动有前后同口径验证。
来源
- GOV.UK Service Manual:Using performance data to improve your service(访问日期:2026-07-17)
- GOV.UK Service Manual:Measuring the success of your service(访问日期:2026-07-17)
- GOV.UK Service Manual:Choosing digital analytics tools(访问日期:2026-07-17)
- GOV.UK Service Manual:Set up and manage user support(访问日期:2026-07-17)