Skip to content

使用行为分析、热图、搜索、错误与支持数据验证问题 ​

行为分析、热图、站内搜索、错误日志和支持数据从不同角度记录产品使用与故障。它们能定位“哪里发生了什么”,通常不能单独解释用户为什么这样做。有效验证需要先定义任务和事件语义,再用多源数据、具体复现和定性证据解释机制。

数据源与边界 ​

数据源能回答不能单独回答
行为分析入口、步骤、完成、放弃、设备和时间分布用户意图、理解和因果
点击/滚动热图聚合位置上的点击或可见范围DOM 语义、任务正确性、单个用户路径
会话回放某些操作顺序与界面变化用户思考、全部辅助技术行为;有隐私风险
站内搜索查询语言、无结果、改写和结果点击查询者最终是否正确完成现实目标
客户端/服务端错误失败类型、频率、环境和调用链用户是否看见或恢复
支持工单用户描述、影响、绕过和长期问题总体发生率;提交者有自选择偏差

GOV.UK 明确建议不要只依赖数字分析,应结合支持、反馈、后台和其他数据。任何数据源都需要明确总体、采样、缺失和隐私边界。

从问题到数据 ​

mermaid
flowchart LR
    Q["任务问题与完成定义"] --> E["事件、属性和错误语义"]
    E --> C["采集与质量验证"]
    C --> A["分群、漏斗和趋势"]
    A --> H["形成原因假设"]
    H --> R["回放、支持、日志或任务复现"]
    R --> V["改动与前后验证"]

先定义完成结果,再设计事件。仅有页面浏览和按钮点击无法判断对象是否真正创建、支付或同步成功。

事件模型 ​

事件名称 ​

使用稳定的业务动作或状态:

text
import_started
import_upload_completed
import_processing_completed
import_partially_completed
import_failed

不要把 DOM 选择器或按钮颜色作为长期事件名。UI 改版后,业务语义仍应可比较。

事件属性 ​

  • 任务或对象类型,不上传敏感内容;
  • 入口、角色、平台、版本和实验组;
  • 结果状态、错误类别和恢复操作;
  • 数量、耗时阶段和网络条件;
  • 关联 ID 使用安全、受控、可追踪但不公开的标识。

不能把邮箱、搜索全文、密码、令牌、文件内容等直接发送到分析系统。根据法律、隐私政策、同意和最小化原则设计采集。

事件时机 ​

“点击提交”是意图,不是成功。成功事件应在权威结果确认后触发;异步任务分开记录请求已接收、处理中和最终结果。

去重 ​

页面刷新、网络重试和多端上报可能重复事件。使用事件 ID、任务 ID和服务端权威记录去重,说明按用户、会话、任务还是事件聚合。

漏斗与完成率 ​

定义 ​

text
完成率 = 满足预先定义完成条件的任务数 / 合格任务尝试数

必须说明:

  • 分子何时产生;
  • 分母如何识别新尝试;
  • 时间窗口;
  • 重试、返回和跨设备怎样归属;
  • 不符合资格和机器人如何处理;
  • 部分成功算成功、失败还是单独类别。

步骤之间下降只表示记录中的用户未进入下一事件。原因可能是任务完成于别处、事件漏报、主动退出、不符合资格或真实阻碍。

热图和会话回放 ​

热图验证 ​

  • 确认位置映射到正确版本、视口和 DOM;
  • 按设备和布局分群,避免混合不同坐标;
  • 点击密集不等于重要或成功,可能是错误重复点击;
  • 无点击不等于不可用,键盘、语音和屏幕阅读器路径可能未记录;
  • 滚动深度不等于阅读或理解。

回放验证 ​

回放用于复现某类事件前后的界面状态,而不是窥视个人。需要输入遮罩、敏感区域排除、访问控制、保留期限和审计。采集工具可能不还原 Canvas、Shadow DOM、辅助技术或网络状态,报告需说明限制。

站内搜索数据 ​

检查:

  • 查询量、无结果率与改写;
  • 查询后点击与任务完成;
  • 同义词、拼写、内部术语和敏感查询;
  • 搜索结果是否显示足够上下文;
  • 无结果后是清除筛选、换词、求助还是离开。

搜索词可以揭示用户语言和信息架构缺口,但可能包含个人或敏感数据,需最小化、脱敏和限制访问。

错误与支持数据 ​

错误分类 ​

将错误分为输入、权限、业务规则、冲突、网络、服务、第三方和未知结果。HTTP 状态码是实现信号,不能直接当用户问题分类。

记录:错误码、版本、阶段、对象类型、请求 ID、是否重试、最终结果和用户可见反馈。堆栈与日志不得进入公开学习笔记。

支持工单 ​

按任务、现象、环境、影响、绕过和结果编码。把“怎么用”“为什么不允许”“结果在哪里”“数据错了”等分开。工单数量受支持入口、用户群和运营变化影响,需结合任务尝试分母。

完整案例:定位批量导入放弃 ​

问题与数据 ​

目标:判断成员导入为什么在“上传完成”后有大量任务没有最终结果。

14 天数据:

text
import_started:2,000 个唯一任务
upload_completed:1,760
processing_completed:1,100
partially_completed:180
failed:220
没有最终事件:260

数据质量检查发现 processing_completed 由前端结果页触发,用户离开后后台成功不会上报,因此“没有最终事件”不能直接解释为失败。

修正事件模型 ​

  1. 以服务端导入任务为分母,使用任务 ID 去重。
  2. 最终状态由服务端权威事件产生:complete、partial、failed。
  3. 前端另记 result_viewed,表示用户看过结果。
  4. 记录上传、排队、处理和通知的阶段耗时。

修正后同一 2,000 任务:

text
服务端完成:1,520
部分完成:220
失败:240
仍处理中超过内部阈值:20
结果被查看:1,080

多源分析 ​

  • 错误日志:失败中 140 个为 CSV 表头错误,80 个权限变化,20 个服务故障。
  • 站内搜索:“导入记录”“上传后去哪看”查询在导入用户中明显出现。
  • 支持工单:38 个询问上传后结果位置;多数从上传页离开。
  • 回放抽样:结果入口只在成员页次级菜单,部分用户重复上传。

这些证据支持“最终任务多已完成,但结果入口和状态通知不足”;它们仍不能说明所有未查看用户都找不到入口,有些可能无需查看。

改动 ​

  1. 上传完成后显示持久任务 ID 和“可以离开,导入记录中继续查看”。
  2. 成员页增加当前导入状态区域,而不是只放在菜单。
  3. 完成、部分成功和失败发送可配置通知,深链到任务。
  4. 重复文件上传时提示已有任务。
  5. 修复 CSV 表头在上传前可检查的部分,但服务端继续权威验证。

失败分支 ​

  • 分析脚本重复计算客户端和服务端成功:使用任务 ID 与事件来源区分。
  • 事件漏报:每日与任务表对账。
  • 通知点击高但完成未变:检查用户只是查看,还是能修正失败项。
  • 结果入口增加后支持下降:同时检查任务量、版本和支持渠道变化,避免错误归因。

验证输出 ​

发布后比较同一口径:最终状态完整率、结果查看、重复上传、失败修正和支持率。分阶段发布时保留对照组与版本属性;高风险问题不用仅靠指标决定,仍执行键盘、状态和任务复现。

数据质量检查 ​

  • 事件文档与实现是否一致;
  • 客户端、服务端时间与时区;
  • 事件重复、延迟、丢失和顺序;
  • 版本、实验组和平台属性;
  • 用户/会话/任务 ID 作用域;
  • 隐私同意导致的缺失;
  • 机器人、内部账户和测试数据;
  • 指标查询可重复且有版本控制。

常见错误与修正 ​

  • 把点击当成功:用权威对象结果定义完成。
  • 漏斗下降直接解释为困惑:补复现、支持或任务证据。
  • 混合不同平台、版本和实验组。
  • 热图只看颜色,不看视口、DOM 和键盘路径。
  • 会话回放采集敏感输入或长期无限保留。
  • 用错误数量不除以任务尝试或流量。
  • 修改事件定义后仍与旧数据直接比较。
  • 只看平均值,隐藏长尾、分群和失败类别。

可执行步骤 ​

  1. 定义任务、合格尝试、成功、部分成功与失败。
  2. 设计业务语义事件、属性、时机和去重范围。
  3. 核对隐私、同意、最小化、保留和访问控制。
  4. 验证事件与权威数据对账,记录缺失和版本。
  5. 按平台、角色、版本和入口分析漏斗与错误。
  6. 使用搜索、支持、回放和复现解释假设。
  7. 设计改动、失败分支和可比较指标。
  8. 发布后按同一口径验证,并检查非预期影响。

练习与完成标准 ​

为“搜索并打开文档”建立验证方案。

完成时应满足:

  • 定义搜索尝试、有效查询、结果点击和文档成功打开;
  • 区分无结果、错误、权限过滤和用户主动离开;
  • 事件不采集敏感查询全文或个人数据;
  • 站内搜索、错误、支持和任务复现至少三源交叉;
  • 按平台、版本和角色分群;
  • 事件与搜索后端权威日志完成对账;
  • 结论不把相关性写成原因,改动有前后同口径验证。

来源 ​

从前端走向软件产品工程的长期路线图。