Skip to content

搜索索引的数据库同步、更新、删除与重建 ​

搜索索引是数据库事实的异步投影。同步设计必须处理事务提交、重复、乱序、删除 tombstone、CDC 水位、全量快照与增量衔接,并能从事实源重建。

1. 能力边界与机制图 ​

mermaid
flowchart LR
    A["事实输入"] --> B["索引/处理机制"]
    B --> C["查询或派生输出"]
    C --> D["验证与观测"]
    D --> E["失败恢复/重建"]

同步链路的事实身份是数据库主键、提交版本和变更位置。每个索引写入必须能关联 outbox/CDC event,旧版本和重复事件不得覆盖新文档,删除必须以 tombstone 或等价事实传播。

2. Dual write ​

机制:应用同时写DB和搜索存在不可原子的失败窗口。

实际使用:仅作低风险优化且有对账。

主要失败:把两次成功响应当事务。

验证方法:在每个崩溃点测试。

取舍:代码少但会漏/幽灵文档。

生产实现 Dual write 时必须把输入类型、处理上限、输出状态和失败类别写入接口契约;调用方不能根据一次成功响应推导未承诺的持久性、一致性或权限语义。

3. Outbox ​

机制:业务事务内写领域事件。

实际使用:可靠传递变更意图。

主要失败:publisher先标记再发送。

验证方法:监控oldest unpublished。

取舍:增加表和publisher运维。

生产实现 Outbox 时必须把输入类型、处理上限、输出状态和失败类别写入接口契约;调用方不能根据一次成功响应推导未承诺的持久性、一致性或权限语义。

4. CDC ​

机制:从WAL/binlog捕获提交变化。

实际使用:覆盖所有数据库写者。

主要失败:忽略复制槽积压和schema演进。

验证方法:观察LSN/slot lag。

取舍:低延迟但耦合变更日志。

生产实现 CDC 时必须把输入类型、处理上限、输出状态和失败类别写入接口契约;调用方不能根据一次成功响应推导未承诺的持久性、一致性或权限语义。

5. External version ​

机制:文档保存源aggregate version。

实际使用:拒绝旧事件覆盖新状态。

主要失败:使用墙钟排序并发事件。

验证方法:乱序回放验证最高版本。

取舍:需要事实源分配单调版本。

生产实现 External version 时必须把输入类型、处理上限、输出状态和失败类别写入接口契约;调用方不能根据一次成功响应推导未承诺的持久性、一致性或权限语义。

6. Tombstone ​

机制:删除事件携带删除version。

实际使用:防旧upsert复活。

主要失败:物理删除后不保留水位。

验证方法:发送旧事件验证不复活。

取舍:保留状态有存储成本。

生产实现 Tombstone 时必须把输入类型、处理上限、输出状态和失败类别写入接口契约;调用方不能根据一次成功响应推导未承诺的持久性、一致性或权限语义。

7. Bulk API ​

机制:批量索引提升吞吐。

实际使用:回填和追赶。

主要失败:只看HTTP 200忽略逐项错误。

验证方法:解析每项status并分类重试。

取舍:吞吐高但失败隔离复杂。

生产实现 Bulk API 时必须把输入类型、处理上限、输出状态和失败类别写入接口契约;调用方不能根据一次成功响应推导未承诺的持久性、一致性或权限语义。

8. Refresh ​

机制:提交后near-real-time可见。

实际使用:控制读可见延迟。

主要失败:每条写refresh=true压垮集群。

验证方法:测refresh/segment/merge。

取舍:即时可见换资源成本。

生产实现 Refresh 时必须把输入类型、处理上限、输出状态和失败类别写入接口契约;调用方不能根据一次成功响应推导未承诺的持久性、一致性或权限语义。

9. Alias ​

机制:逻辑名原子切索引版本。

实际使用:零停机重建切换。

主要失败:未对账就切换。

验证方法:检查count/hash/version lag。

取舍:双索引占空间。

生产实现 Alias 时必须把输入类型、处理上限、输出状态和失败类别写入接口契约;调用方不能根据一次成功响应推导未承诺的持久性、一致性或权限语义。

10. Snapshot+stream ​

机制:固定快照后接水位增量。

实际使用:全量重建不漏更新。

主要失败:用墙钟拼接产生缺口。

验证方法:记录CDC位置并演练。

取舍:实现复杂但可恢复。

生产实现 Snapshot+stream 时必须把输入类型、处理上限、输出状态和失败类别写入接口契约;调用方不能根据一次成功响应推导未承诺的持久性、一致性或权限语义。

11. Reconciliation ​

机制:周期比较事实与投影。

实际使用:发现静默漏失。

主要失败:只比总count。

验证方法:按tenant/version/hash抽样。

取舍:增加读成本但提供可信度。

生产实现 Reconciliation 时必须把输入类型、处理上限、输出状态和失败类别写入接口契约;调用方不能根据一次成功响应推导未承诺的持久性、一致性或权限语义。

12. 方案比较 ​

方案主要收益关键边界
应用双写低复杂存在漏写窗口
Outbox领域语义清楚至少一次重复
CDC覆盖所有写物理schema耦合
全量重建修复彻底资源与切换成本
增量修补影响小可能漏未知损坏

13. 完整案例:订单实时同步 ​

输入与约束 ​

PostgreSQL订单、Kafka、OpenSearch;30秒freshness;重复乱序;删除不能复活。

处理步骤 ​

  1. 事务写订单version和outbox。
  2. 以order_id为key发布,consumer批量upsert。
  3. 索引脚本只接受更高source_version。
  4. delete写version tombstone或维护删除水位。
  5. 逐项解析bulk响应,暂时重试、确定错误DLQ。

输出 ​

索引最终为数据库最高版本,删除稳定。

验证 ​

乱序100版本最终最高;commit后崩溃不漏;bulk部分失败可恢复。

失败分支 ​

HTTP bulk 200中单项429被忽略导致静默缺文档;必须逐项检查并保留event ID。

完成判断 ​

订单同步只有在提交后崩溃仍能由 outbox/CDC 补发、100 次乱序最终保留最高版本、删除事件不会被旧更新复活,并逐项处理 bulk 的 429 与 mapping 错误后才算完成。

14. 完整案例:全量重建v4 ​

输入与约束 ​

v3 mapping错误,2亿文档,在线写持续;可用额外磁盘1.5倍。

处理步骤 ​

  1. 创建v4 mapping和设置,记录CDC水位P。
  2. 按数据库稳定keyset快照批量写v4。
  3. 应用P后的事件并追到近实时。
  4. 按tenant count/version/hash与查询golden对账。
  5. 短时双读canary后原子切alias,v3保留回退窗口。

输出 ​

在线切换且更新不丢,旧索引可回退。

验证 ​

切换前lag为零/阈值内;随机文档版本一致;磁盘watermark安全。

失败分支 ​

全量开始后只消费‘现在’事件会在快照边界重复/漏;必须使用一致快照与明确change position。

完成判断 ​

v4 重建的验收门槛是快照行数和最高版本对账、CDC 从记录水位连续追平、golden query 与租户抽样 hash 通过、磁盘仍低于停止水位,且 alias 切换后能在回退窗口恢复 v3。

15. 失败注入矩阵 ​

注入点应观察的系统行为不允许的结果
输入中加入未知字段/极端长度cdc_lag 出现可解释变化并触发受控降级静默丢数据、跨权限返回或无限重试
暂停一个处理节点outbox_oldest_age 出现可解释变化并触发受控降级静默丢数据、跨权限返回或无限重试
让下游返回429或503bulk_item_errors 出现可解释变化并触发受控降级静默丢数据、跨权限返回或无限重试
制造重复与乱序版本version_reject_old 出现可解释变化并触发受控降级静默丢数据、跨权限返回或无限重试
使磁盘达到高水位tombstone_count 出现可解释变化并触发受控降级静默丢数据、跨权限返回或无限重试
让请求在提交后断线refresh_time 出现可解释变化并触发受控降级静默丢数据、跨权限返回或无限重试
撤销一个租户权限segment_merge 出现可解释变化并触发受控降级静默丢数据、跨权限返回或无限重试
使后台任务积压超过SLOreindex_docs_per_sec 出现可解释变化并触发受控降级静默丢数据、跨权限返回或无限重试

16. 调试路径与观测信号 ​

  1. cdc_lag:定义采样点、单位、维度和告警窗口;只使用低基数标签,具体资源 ID 进入受控日志或 trace。
  2. outbox_oldest_age:定义采样点、单位、维度和告警窗口;只使用低基数标签,具体资源 ID 进入受控日志或 trace。
  3. bulk_item_errors:定义采样点、单位、维度和告警窗口;只使用低基数标签,具体资源 ID 进入受控日志或 trace。
  4. version_reject_old:定义采样点、单位、维度和告警窗口;只使用低基数标签,具体资源 ID 进入受控日志或 trace。
  5. tombstone_count:定义采样点、单位、维度和告警窗口;只使用低基数标签,具体资源 ID 进入受控日志或 trace。
  6. refresh_time:定义采样点、单位、维度和告警窗口;只使用低基数标签,具体资源 ID 进入受控日志或 trace。
  7. segment_merge:定义采样点、单位、维度和告警窗口;只使用低基数标签,具体资源 ID 进入受控日志或 trace。
  8. reindex_docs_per_sec:定义采样点、单位、维度和告警窗口;只使用低基数标签,具体资源 ID 进入受控日志或 trace。
  9. alias_canary_diff:定义采样点、单位、维度和告警窗口;只使用低基数标签,具体资源 ID 进入受控日志或 trace。
  10. reconciliation_mismatch:定义采样点、单位、维度和告警窗口;只使用低基数标签,具体资源 ID 进入受控日志或 trace。

缺文档时以数据库主键为起点,依次查提交版本、outbox/CDC event、consumer offset、bulk item response 和索引中的 external version;幽灵文档则反向检查 tombstone 是否到达以及是否被更旧更新覆盖。HTTP 200 不能代替逐 item 结果。

17. 性能、安全与运维边界 ​

  1. 所有用户输入有长度、结构、复杂度和超时上限;对 搜索索引的数据库同步、更新、删除与重建 的实现要给出责任人和可执行验证。
  2. 租户与权限条件来自认证主体,不信任请求正文;对 搜索索引的数据库同步、更新、删除与重建 的实现要给出责任人和可执行验证。
  3. 重试有总预算、退避、抖动和幂等保护;对 搜索索引的数据库同步、更新、删除与重建 的实现要给出责任人和可执行验证。
  4. 派生数据能从事实源按明确水位重建;对 搜索索引的数据库同步、更新、删除与重建 的实现要给出责任人和可执行验证。
  5. 敏感正文不进入普通日志、指标标签或公开快照;对 搜索索引的数据库同步、更新、删除与重建 的实现要给出责任人和可执行验证。
  6. 容量按峰值写入、查询、恢复和副本同时估算;对 搜索索引的数据库同步、更新、删除与重建 的实现要给出责任人和可执行验证。
  7. 发布采用版本化结构、canary、对账和回退窗口;对 搜索索引的数据库同步、更新、删除与重建 的实现要给出责任人和可执行验证。
  8. 删除覆盖索引、缓存、快照与下游派生系统;对 搜索索引的数据库同步、更新、删除与重建 的实现要给出责任人和可执行验证。
  9. 依赖不可用时核心正确性不由降级路径破坏;对 搜索索引的数据库同步、更新、删除与重建 的实现要给出责任人和可执行验证。
  10. 运行手册包含暂停、恢复、验证和人工升级条件;对 搜索索引的数据库同步、更新、删除与重建 的实现要给出责任人和可执行验证。

18. 综合练习与验收 ​

为“订单实时同步”实现最小生产链路,并把“全量重建v4”作为不同约束下的对照。提交配置、请求/响应、数据样例、故障脚本和观测面板。

  • [ ] 验收 1:Dual write 的机制、使用、失败与验证均能用真实输入复现。
  • [ ] 验收 2:Outbox 的机制、使用、失败与验证均能用真实输入复现。
  • [ ] 验收 3:CDC 的机制、使用、失败与验证均能用真实输入复现。
  • [ ] 验收 4:External version 的机制、使用、失败与验证均能用真实输入复现。
  • [ ] 验收 5:Tombstone 的机制、使用、失败与验证均能用真实输入复现。
  • [ ] 验收 6:Bulk API 的机制、使用、失败与验证均能用真实输入复现。
  • [ ] 验收 7:Refresh 的机制、使用、失败与验证均能用真实输入复现。
  • [ ] 验收 8:Alias 的机制、使用、失败与验证均能用真实输入复现。
  • [ ] 提交后崩溃、事件重复、乱序、bulk 部分失败和 tombstone 迟到均有可重复 fixture。
  • [ ] 全量快照与增量流用明确 change position 衔接,重建期间新增、更新和删除都不丢失。
  • [ ] Alias 切换前保存 count/version/hash 与查询 golden 结果,达到磁盘停止阈值时能够安全中止。

来源 ​

从前端走向软件产品工程的长期路线图。