列表、表格与超长段落的分块
列表、表格和超长段落不能用同一套字符串窗口安全处理。列表项依赖父条件与顺序,表格单元格依赖行列标题和单位,超长段落需要在句群边界拆分同时保留范围。分块器应先识别结构不变量,再在 Token 上限内形成可独立解释、可回到原文的 chunk。
前置知识与目标
前置阅读:
本文假定解析层已经输出 typed blocks。若解析器把表格变成无结构文本,chunker 不能可靠恢复所有行列关系,应先隔离或降级并记录 parsing warning。
结构不变量
列表
一个列表项的含义可能依赖:
- 列表前的引导句。
- 父列表项。
- 编号和顺序。
- 同级项共同限定的范围。
- 项内的多个段落或代码块。
表格
一个 cell 的含义依赖:
- 表名或图注。
- row header。
- column header。
- 单位。
- 合并单元格范围。
- 脚注。
- source revision 和 sheet/page。
超长段落
长段落可能包含:
- 前提。
- 主规则。
- 多个并列条件。
- 例外。
- 生效时间。
- 交叉引用。
“在 500 Token 处切开”可能把否定、例外或单位留到另一块。
统一的结构化输入
{
"sourceRevision": "policy-v18",
"blocks": [
{
"id": "b10",
"type": "paragraph",
"text": "符合以下全部条件时可以退款:"
},
{
"id": "b11",
"type": "list_item",
"level": 1,
"marker": "1.",
"text": "商品未激活。",
"parentId": null
},
{
"id": "b12",
"type": "list_item",
"level": 1,
"marker": "2.",
"text": "在购买后 14 天内提交。",
"parentId": null
}
]
}列表前导句需要显式关系:
{
"listId": "list-refund-all",
"leadBlockId": "b10",
"logic": "all_required",
"itemIds": ["b11", "b12"]
}若 logic 是解析器推断,应保存 derivation 和置信度;不能把模型推断当原文事实。
处理总流程
flowchart TD
A["通过质量门的 typed blocks"] --> B{"block 类型"}
B -->|"列表"| C["建立 lead、parent、item 关系"]
B -->|"表格"| D["建立 grid、header、unit、footnote"]
B -->|"长段落"| E["句子与条款边界"]
C --> F["声明不可拆单元"]
D --> F
E --> F
F --> G["在 Token 上限内装箱"]
G --> H["注入最小结构上下文"]
H --> I["生成 sourceText、embeddingText 与 locators"]
I --> J["结构重建与检索评估"]列表分块
列表的数据模型
{
"listId": "steps-reset",
"ordered": true,
"lead": "重置设备前依次完成:",
"items": [
{
"id": "item-1",
"ordinal": 1,
"level": 1,
"text": "导出当前配置。",
"children": []
},
{
"id": "item-2",
"ordinal": 2,
"level": 1,
"text": "断开外部电源。",
"children": [
{
"id": "item-2-a",
"ordinal": 1,
"level": 2,
"text": "等待状态灯熄灭。"
}
]
}
]
}ordered 决定顺序是否有语义。无序列表也可能表达 all_required,不能从 HTML <ul> 推断“任选”。
小列表
列表整体未超过 hard max 时,lead、全部 item 和尾随说明放在一个 chunk。这样最容易保留完整逻辑。
chunk metadata:
- list ID。
- ordered。
- logic。
- item locator 列表。
- heading path。
引用某一项时仍可高亮对应 item,不必引用整个 chunk。
长列表
长列表按完整 item 装箱:
- 每块重复最小 lead。
- item 不在段落内部切开,除非单 item 自身超长。
- 父 item 与子项一起放置,或向子块注入父 item。
- 保留原 ordinal。
- 尾随的“以上条件必须同时满足”进入每个相关块的 logic metadata。
示例 embeddingText:
设备重置 > 前置步骤
要求:以下步骤必须依次完成。
步骤 5:按住 Reset 10 秒。
步骤 6:等待状态灯变为蓝色。“要求”是从原 lead 派生的上下文,display 应标明其来源 block,不能伪装成该列表项的原句。
嵌套列表
子项离开父项会失去范围。两种策略:
- parent prefix:每个子块注入父项。
- parent-child:索引子项,命中后取父项与同级必要项。
禁止让子项跨权限域;若父项含敏感内容,子项也不能通过 prefix 泄漏。
列表错误
- 只重复标题,不重复 lead 中的“全部满足”。
- 删除 ordinal,导致步骤顺序不可恢复。
- 将一个 list item 内的说明段落拆到别处。
- 把 checkbox 未勾选误读为否定。
- 把 bullet 字符当普通正文。
- 将分页重复的序号误当新列表。
表格分块
逻辑表格
解析结果应表达:
{
"tableId": "refund-fees",
"title": "退款手续费",
"columns": [
{"id": "region", "label": "地区"},
{"id": "period", "label": "购买后天数", "unit": "day"},
{"id": "fee", "label": "手续费", "unit": "CNY"}
],
"rows": [
{
"key": "cn-0-14",
"cells": {
"region": "中国大陆",
"period": "0–14",
"fee": "0"
}
}
],
"footnotes": [
{"marker": "*", "text": "定制商品不适用。"}
]
}表格序列化为文本前,必须保留原 grid、cell locator 与 span。
按行组分块
适合列较少、行很多的表格:
表:退款手续费
列:地区 | 购买后天数(日) | 手续费(CNY)
中国大陆 | 0–14 | 0
中国大陆 | 15–30 | 20
脚注:定制商品不适用。每块重复:
- 表名。
- 所有必要列名。
- 单位。
- 适用脚注。
不应重复与这些行无关的脚注。
按列组分块
适合列很多、每次问题只涉及某一指标族。必须重复 row key。例如产品比较表按:
- 身份列:型号、版本。
- 性能列。
- 供电列。
- 合规列。
若 row key 不稳定,列组分块会让数据无法关联。
键值行
两列表格常表达属性:
型号:Aster Pro
额定电压:220 V
防护等级:IP54可以按相关属性组分块,但表名和对象 ID 必须进入每块。
合并单元格
例如“华东”跨三行。序列化每行时可向下填充逻辑值,但要区分:
- 原 cell text。
- 继承的 logical value。
- 原 cell span。
不能在原文引用中显示三个独立“华东”单元格。
表格脚注
脚注可能推翻数字的适用性。把脚注关联到:
- 整表。
- 某列。
- 某行。
- 某 cell。
分块时只附着相关脚注。脚注 locator 与数据 cell locator 都进入证据。
表格错误
- 每行只有数值,没有列名和单位。
- 用逗号串联,值本身也含逗号。
- 公式与 cached display value 混用。
- 日期序列被当普通数字。
- 合并单元格填充后失去原 span。
- 截断末列的例外标记。
- 表头重复进入检索候选,数据行反而排名低。
超长段落分块
先识别合法边界
边界优先级可为:
- 明确条款编号。
- 句子结束。
- 分号连接的并列条件。
- 逗号或短语边界。
- Token 硬切。
硬切是最后降级,并记录 warning。
句子边界要处理:
- 缩写。
- 小数。
- 版本号。
- URL。
- 中文引号。
- 项目编号。
- 代码内标点。
句群装箱
将句子作为原子单元,按目标 Token 合并。加入一句超过 max 时:
- 当前块已达 min:先发出当前块。
- 当前块为空且单句超长:对单句进入 clause split。
- 最后短块:只在不跨结构边界时向前合并。
关系上下文
“但是”“除非”“上述条件”“以下情况”依赖上下文。可:
- 将前置条件作为 context prefix。
- 让相关句群属于同一 parent。
- 在命中后取相邻句群。
prefix 必须可追溯到原 block,不能由模型自由改写后当事实。
法律条款
条款中的定义、义务、例外和后果可能跨多句。优先以 clause number 为 parent:
8.2 退款限制
8.2(a) 主规则
8.2(b) 例外
8.2(c) 生效时间子条款可以索引,取回时按问题选择同一父条款的相关兄弟。不得自动取整份合同。
应用案例一:安装步骤
输入
维修手册中的 36 步安装流程,包含:
- 全局安全前置条件。
- 三个阶段。
- 第 14 步有四个子步骤。
- 第 28 步后的警告适用于 28–31。
设计
- 每个阶段为 parent。
- 安全前置条件作为受控 prefix 附着所有操作块。
- 每块包含 4–6 个完整步骤。
- 第 14 步和子步骤不可拆。
- 警告单独形成 block,并关联步骤 28–31。
- ordinal、block locator 和 page 保存。
检索
查询“更换模块后何时接通电源”:
- keyword 命中“电源”步骤。
- 取回相邻步骤和适用警告。
- 上下文按 ordinal 排序。
- 引用高亮具体步骤与警告。
验证
- 所有 36 个 ordinal 恰好对应一个原 item。
- 每个操作 chunk 有安全前置条件。
- 第 14 步的子步骤完整。
- 警告只附着 28–31。
- 邻接取回不跨阶段。
失败分支
若使用固定 500 Token,警告可能落在下一块。通过 overlap 虽可重复警告,但无法表达它只适用于 28–31。需要显式关系。
应用案例二:费率表
输入
一张 2,400 行费率表,列为:
- 地区。
- 产品级别。
- 重量区间。
- 基础费。
- 每公斤费。
- 生效日期。
- 备注标记。
设计
(地区, 产品级别, 重量区间, 生效日期)是逻辑 row key。- 每 30 行一个 row-group chunk。
- 每块重复表名、列名和单位。
- 按生效日期建立 metadata filter。
- 备注标记关联脚注文字。
- 原 cell range 和工作表 revision 保存。
查询
“2026-07-10 华东 Pro 级 3.2kg 的费用规则”:
- 实体规范化为 region ID。
- 时间过滤有效 row。
- keyword/dense 召回 row group。
- 服务端确定性代码按区间计算,不让模型做最终计费。
- 模型只解释规则并引用 cell。
验证
- 边界重量 1.0、1.01、5.0 分别测试。
- 旧生效日期不进入候选。
- 金额计算与数据库规则一致。
- 引用打开正确 sheet、row 和 column。
- 无权费率表不出现在 trace。
失败分支
把表格整行作为自然语言交给模型计算,会引入数字抄录和算术风险。RAG 提供证据,确定性计费仍由业务代码完成。
应用案例三:超长合规条款
输入
一个 3,100 Token 段落包含定义、五项义务、两个例外和生效日期。
设计
- 条款编号作为 parent。
- 定义块、义务块、例外块和日期块为 children。
- 每个 child 注入条款号和必要定义。
- 查询命中义务时同时检索相关例外。
- context selector 按 Token 预算选择,不自动加入全部 parent。
验证
- 30 条问题标注所需 child 组合。
- 测试否定和例外。
- 引用精确到句群。
- 修改定义后重新索引所有依赖 child。
- 对模型答案逐主张检查证据。
失败分支
若只命中义务句,答案会遗漏例外。评估集必须把“义务 + 例外”标成共同必要证据。
结构重建测试
列表
- ordinal 是否连续。
- parent-child 是否无环。
- lead 是否关联所有目标 item。
- 分块后按 ordinal 合并是否恢复原顺序。
- 每个 locator 是否回到原 item。
表格
- row/column 数量。
- row key 唯一性。
- header 与 cell 对齐。
- 合并单元格 span。
- 单位与脚注关联。
- 选定 chunk 合并后是否覆盖原表,无虚构 cell。
长段落
- source range 无重叠丢失。
- overlap 明确记录。
- 引号、括号和代码围栏不被错误切开。
- clause parent 关系正确。
- prefix 能回到来源 block。
指标
orphan_list_item_rate:缺失 lead 或 parent 的 item 比例。list_order_reconstruction_rate。table_header_attachment_rate。cell_locator_replay_rate。unit_attachment_rate。long_paragraph_boundary_coverage。hard_split_rate。structure_prefix_token_ratio。- 分类型 evidence Recall@K。
- citation span accuracy。
指标按文档类型报告。把列表、表格和普通段落混成一个平均值没有诊断价值。
调试路径
- 打开 source revision 与解析 block。
- 确认 typed structure 是否正确。
- 查看不可拆单元与装箱决定。
- 比较 sourceText、prefix、embeddingText。
- 检查 Token 上限和 hard split warning。
- 回放 list/table/clause locator。
- 查看 gold evidence 是否完整落入一个块或合法组合。
- 检查 retrieval 去重、邻接与 parent 扩展。
- 最后检查生成与引用。
结构解析错误不能在 chunker 中用越来越复杂的字符串规则长期掩盖,应回到 parsing 修复。
生产边界
更新
- 表格任一 row 更新时,根据 row key 重建受影响 row group。
- 列名或单位改变时重建全表 chunks。
- 列表 lead 改变时重建所有依赖 item。
- 长段落定义改变时重建依赖 prefix 的 child。
- source revision 改变后不复用旧 locator。
事务与原子性
parent、child、neighbor 与 metadata 必须同一 generation 发布。部分写入会产生悬空关系。
安全
- 表格行级权限在 row group 和 parent 中保持。
- prefix 不带入其他安全域的标题或父项。
- 敏感脚注不因“重复必要上下文”泄漏。
- 费用、权限、合规决定由确定性服务验证。
- 调试视图默认展示结构和 hash,不展示完整敏感数据。
综合练习
构建结构感知 chunker:
- 输入一份嵌套列表、一张带合并单元格和脚注的表格、一段超过 2,000 Token 的条款。
- 定义 typed block Schema。
- 实现不可拆单元、Token 装箱和 prefix。
- 保存 sourceText、embeddingText 与 locators。
- 生成 parent、child 和 neighbor。
- 注入缺失表头、错误 ordinal、超长单句和权限不一致。
- 建立至少 30 条问题与必要证据组合。
- 比较结构方案与固定窗口方案。
验收标准
- 列表 lead、logic、ordinal 和 parent 可恢复。
- 每个表格数据块都有必要列名、单位与适用脚注。
- 合并单元格的逻辑填充不改写原 locator。
- 超长段落只在合法边界切分;硬切有 warning。
- prefix 可追溯且不作为虚构原文引用。
- 更新依赖能触发正确范围的重建。
- 权限与业务不变量不交给模型判断。
- 能按结构类型报告质量、成本和失败。
来源
- HTML Living Standard — lists(访问日期:2026-07-18)
- HTML Living Standard — table model(访问日期:2026-07-18)
- OOXML SpreadsheetML 基础结构(访问日期:2026-07-18)
- Unstructured Chunking(访问日期:2026-07-18)