搜索索引的数据库同步、更新、删除与重建
搜索索引是数据库事实的异步投影。同步设计必须处理事务提交、重复、乱序、删除 tombstone、CDC 水位、全量快照与增量衔接,并能从事实源重建。
1. 能力边界与机制图
flowchart LR
A["事实输入"] --> B["索引/处理机制"]
B --> C["查询或派生输出"]
C --> D["验证与观测"]
D --> E["失败恢复/重建"]同步链路的事实身份是数据库主键、提交版本和变更位置。每个索引写入必须能关联 outbox/CDC event,旧版本和重复事件不得覆盖新文档,删除必须以 tombstone 或等价事实传播。
2. Dual write
机制:应用同时写DB和搜索存在不可原子的失败窗口。
实际使用:仅作低风险优化且有对账。
主要失败:把两次成功响应当事务。
验证方法:在每个崩溃点测试。
取舍:代码少但会漏/幽灵文档。
生产实现 Dual write 时必须把输入类型、处理上限、输出状态和失败类别写入接口契约;调用方不能根据一次成功响应推导未承诺的持久性、一致性或权限语义。
3. Outbox
机制:业务事务内写领域事件。
实际使用:可靠传递变更意图。
主要失败:publisher先标记再发送。
验证方法:监控oldest unpublished。
取舍:增加表和publisher运维。
生产实现 Outbox 时必须把输入类型、处理上限、输出状态和失败类别写入接口契约;调用方不能根据一次成功响应推导未承诺的持久性、一致性或权限语义。
4. CDC
机制:从WAL/binlog捕获提交变化。
实际使用:覆盖所有数据库写者。
主要失败:忽略复制槽积压和schema演进。
验证方法:观察LSN/slot lag。
取舍:低延迟但耦合变更日志。
生产实现 CDC 时必须把输入类型、处理上限、输出状态和失败类别写入接口契约;调用方不能根据一次成功响应推导未承诺的持久性、一致性或权限语义。
5. External version
机制:文档保存源aggregate version。
实际使用:拒绝旧事件覆盖新状态。
主要失败:使用墙钟排序并发事件。
验证方法:乱序回放验证最高版本。
取舍:需要事实源分配单调版本。
生产实现 External version 时必须把输入类型、处理上限、输出状态和失败类别写入接口契约;调用方不能根据一次成功响应推导未承诺的持久性、一致性或权限语义。
6. Tombstone
机制:删除事件携带删除version。
实际使用:防旧upsert复活。
主要失败:物理删除后不保留水位。
验证方法:发送旧事件验证不复活。
取舍:保留状态有存储成本。
生产实现 Tombstone 时必须把输入类型、处理上限、输出状态和失败类别写入接口契约;调用方不能根据一次成功响应推导未承诺的持久性、一致性或权限语义。
7. Bulk API
机制:批量索引提升吞吐。
实际使用:回填和追赶。
主要失败:只看HTTP 200忽略逐项错误。
验证方法:解析每项status并分类重试。
取舍:吞吐高但失败隔离复杂。
生产实现 Bulk API 时必须把输入类型、处理上限、输出状态和失败类别写入接口契约;调用方不能根据一次成功响应推导未承诺的持久性、一致性或权限语义。
8. Refresh
机制:提交后near-real-time可见。
实际使用:控制读可见延迟。
主要失败:每条写refresh=true压垮集群。
验证方法:测refresh/segment/merge。
取舍:即时可见换资源成本。
生产实现 Refresh 时必须把输入类型、处理上限、输出状态和失败类别写入接口契约;调用方不能根据一次成功响应推导未承诺的持久性、一致性或权限语义。
9. Alias
机制:逻辑名原子切索引版本。
实际使用:零停机重建切换。
主要失败:未对账就切换。
验证方法:检查count/hash/version lag。
取舍:双索引占空间。
生产实现 Alias 时必须把输入类型、处理上限、输出状态和失败类别写入接口契约;调用方不能根据一次成功响应推导未承诺的持久性、一致性或权限语义。
10. Snapshot+stream
机制:固定快照后接水位增量。
实际使用:全量重建不漏更新。
主要失败:用墙钟拼接产生缺口。
验证方法:记录CDC位置并演练。
取舍:实现复杂但可恢复。
生产实现 Snapshot+stream 时必须把输入类型、处理上限、输出状态和失败类别写入接口契约;调用方不能根据一次成功响应推导未承诺的持久性、一致性或权限语义。
11. Reconciliation
机制:周期比较事实与投影。
实际使用:发现静默漏失。
主要失败:只比总count。
验证方法:按tenant/version/hash抽样。
取舍:增加读成本但提供可信度。
生产实现 Reconciliation 时必须把输入类型、处理上限、输出状态和失败类别写入接口契约;调用方不能根据一次成功响应推导未承诺的持久性、一致性或权限语义。
12. 方案比较
| 方案 | 主要收益 | 关键边界 |
|---|---|---|
| 应用双写 | 低复杂 | 存在漏写窗口 |
| Outbox | 领域语义清楚 | 至少一次重复 |
| CDC | 覆盖所有写 | 物理schema耦合 |
| 全量重建 | 修复彻底 | 资源与切换成本 |
| 增量修补 | 影响小 | 可能漏未知损坏 |
13. 完整案例:订单实时同步
输入与约束
PostgreSQL订单、Kafka、OpenSearch;30秒freshness;重复乱序;删除不能复活。
处理步骤
- 事务写订单version和outbox。
- 以order_id为key发布,consumer批量upsert。
- 索引脚本只接受更高source_version。
- delete写version tombstone或维护删除水位。
- 逐项解析bulk响应,暂时重试、确定错误DLQ。
输出
索引最终为数据库最高版本,删除稳定。
验证
乱序100版本最终最高;commit后崩溃不漏;bulk部分失败可恢复。
失败分支
HTTP bulk 200中单项429被忽略导致静默缺文档;必须逐项检查并保留event ID。
完成判断
订单同步只有在提交后崩溃仍能由 outbox/CDC 补发、100 次乱序最终保留最高版本、删除事件不会被旧更新复活,并逐项处理 bulk 的 429 与 mapping 错误后才算完成。
14. 完整案例:全量重建v4
输入与约束
v3 mapping错误,2亿文档,在线写持续;可用额外磁盘1.5倍。
处理步骤
- 创建v4 mapping和设置,记录CDC水位P。
- 按数据库稳定keyset快照批量写v4。
- 应用P后的事件并追到近实时。
- 按tenant count/version/hash与查询golden对账。
- 短时双读canary后原子切alias,v3保留回退窗口。
输出
在线切换且更新不丢,旧索引可回退。
验证
切换前lag为零/阈值内;随机文档版本一致;磁盘watermark安全。
失败分支
全量开始后只消费‘现在’事件会在快照边界重复/漏;必须使用一致快照与明确change position。
完成判断
v4 重建的验收门槛是快照行数和最高版本对账、CDC 从记录水位连续追平、golden query 与租户抽样 hash 通过、磁盘仍低于停止水位,且 alias 切换后能在回退窗口恢复 v3。
15. 失败注入矩阵
| 注入点 | 应观察的系统行为 | 不允许的结果 |
|---|---|---|
| 输入中加入未知字段/极端长度 | cdc_lag 出现可解释变化并触发受控降级 | 静默丢数据、跨权限返回或无限重试 |
| 暂停一个处理节点 | outbox_oldest_age 出现可解释变化并触发受控降级 | 静默丢数据、跨权限返回或无限重试 |
| 让下游返回429或503 | bulk_item_errors 出现可解释变化并触发受控降级 | 静默丢数据、跨权限返回或无限重试 |
| 制造重复与乱序版本 | version_reject_old 出现可解释变化并触发受控降级 | 静默丢数据、跨权限返回或无限重试 |
| 使磁盘达到高水位 | tombstone_count 出现可解释变化并触发受控降级 | 静默丢数据、跨权限返回或无限重试 |
| 让请求在提交后断线 | refresh_time 出现可解释变化并触发受控降级 | 静默丢数据、跨权限返回或无限重试 |
| 撤销一个租户权限 | segment_merge 出现可解释变化并触发受控降级 | 静默丢数据、跨权限返回或无限重试 |
| 使后台任务积压超过SLO | reindex_docs_per_sec 出现可解释变化并触发受控降级 | 静默丢数据、跨权限返回或无限重试 |
16. 调试路径与观测信号
cdc_lag:定义采样点、单位、维度和告警窗口;只使用低基数标签,具体资源 ID 进入受控日志或 trace。outbox_oldest_age:定义采样点、单位、维度和告警窗口;只使用低基数标签,具体资源 ID 进入受控日志或 trace。bulk_item_errors:定义采样点、单位、维度和告警窗口;只使用低基数标签,具体资源 ID 进入受控日志或 trace。version_reject_old:定义采样点、单位、维度和告警窗口;只使用低基数标签,具体资源 ID 进入受控日志或 trace。tombstone_count:定义采样点、单位、维度和告警窗口;只使用低基数标签,具体资源 ID 进入受控日志或 trace。refresh_time:定义采样点、单位、维度和告警窗口;只使用低基数标签,具体资源 ID 进入受控日志或 trace。segment_merge:定义采样点、单位、维度和告警窗口;只使用低基数标签,具体资源 ID 进入受控日志或 trace。reindex_docs_per_sec:定义采样点、单位、维度和告警窗口;只使用低基数标签,具体资源 ID 进入受控日志或 trace。alias_canary_diff:定义采样点、单位、维度和告警窗口;只使用低基数标签,具体资源 ID 进入受控日志或 trace。reconciliation_mismatch:定义采样点、单位、维度和告警窗口;只使用低基数标签,具体资源 ID 进入受控日志或 trace。
缺文档时以数据库主键为起点,依次查提交版本、outbox/CDC event、consumer offset、bulk item response 和索引中的 external version;幽灵文档则反向检查 tombstone 是否到达以及是否被更旧更新覆盖。HTTP 200 不能代替逐 item 结果。
17. 性能、安全与运维边界
- 所有用户输入有长度、结构、复杂度和超时上限;对 搜索索引的数据库同步、更新、删除与重建 的实现要给出责任人和可执行验证。
- 租户与权限条件来自认证主体,不信任请求正文;对 搜索索引的数据库同步、更新、删除与重建 的实现要给出责任人和可执行验证。
- 重试有总预算、退避、抖动和幂等保护;对 搜索索引的数据库同步、更新、删除与重建 的实现要给出责任人和可执行验证。
- 派生数据能从事实源按明确水位重建;对 搜索索引的数据库同步、更新、删除与重建 的实现要给出责任人和可执行验证。
- 敏感正文不进入普通日志、指标标签或公开快照;对 搜索索引的数据库同步、更新、删除与重建 的实现要给出责任人和可执行验证。
- 容量按峰值写入、查询、恢复和副本同时估算;对 搜索索引的数据库同步、更新、删除与重建 的实现要给出责任人和可执行验证。
- 发布采用版本化结构、canary、对账和回退窗口;对 搜索索引的数据库同步、更新、删除与重建 的实现要给出责任人和可执行验证。
- 删除覆盖索引、缓存、快照与下游派生系统;对 搜索索引的数据库同步、更新、删除与重建 的实现要给出责任人和可执行验证。
- 依赖不可用时核心正确性不由降级路径破坏;对 搜索索引的数据库同步、更新、删除与重建 的实现要给出责任人和可执行验证。
- 运行手册包含暂停、恢复、验证和人工升级条件;对 搜索索引的数据库同步、更新、删除与重建 的实现要给出责任人和可执行验证。
18. 综合练习与验收
为“订单实时同步”实现最小生产链路,并把“全量重建v4”作为不同约束下的对照。提交配置、请求/响应、数据样例、故障脚本和观测面板。
- [ ] 验收 1:Dual write 的机制、使用、失败与验证均能用真实输入复现。
- [ ] 验收 2:Outbox 的机制、使用、失败与验证均能用真实输入复现。
- [ ] 验收 3:CDC 的机制、使用、失败与验证均能用真实输入复现。
- [ ] 验收 4:External version 的机制、使用、失败与验证均能用真实输入复现。
- [ ] 验收 5:Tombstone 的机制、使用、失败与验证均能用真实输入复现。
- [ ] 验收 6:Bulk API 的机制、使用、失败与验证均能用真实输入复现。
- [ ] 验收 7:Refresh 的机制、使用、失败与验证均能用真实输入复现。
- [ ] 验收 8:Alias 的机制、使用、失败与验证均能用真实输入复现。
- [ ] 提交后崩溃、事件重复、乱序、bulk 部分失败和 tombstone 迟到均有可重复 fixture。
- [ ] 全量快照与增量流用明确 change position 衔接,重建期间新增、更新和删除都不丢失。
- [ ] Alias 切换前保存 count/version/hash 与查询 golden 结果,达到磁盘停止阈值时能够安全中止。
来源
- Debezium PostgreSQL connector(访问日期:2026-07-17)
- OpenSearch Bulk API(访问日期:2026-07-17)
- OpenSearch Index aliases(访问日期:2026-07-17)
- Elasticsearch Reindex API(访问日期:2026-07-17)
- PostgreSQL 18 logical decoding(访问日期:2026-07-17)