Skip to content

搜索引擎作为派生系统:权威边界、可靠性与容量 ​

搜索引擎可存储可查询文档,但不应在产品架构中自动成为订单、余额、授权和用户资料的唯一事实源。派生系统可以丢弃重建,事实系统负责约束、事务、审计和恢复。

1. 能力边界与机制图 ​

mermaid
flowchart LR
    A["事实输入"] --> B["索引/处理机制"]
    B --> C["查询或派生输出"]
    C --> D["验证与观测"]
    D --> E["失败恢复/重建"]

图中的索引只保存事实系统的可重建投影。订单写入、余额计算和最终授权始终回到权威数据库;搜索健康度只决定检索能力是完整、部分还是降级,不能改变交易裁决。

2. 事实来源 ​

机制:拥有业务不变量和写入裁决。

实际使用:订单、账户、权限由数据库提交。

主要失败:让搜索脚本直接扣库存。

验证方法:故障关闭搜索后核心写仍正确。

取舍:权威系统延迟高但语义完整。

生产实现 事实来源 时必须把输入类型、处理上限、输出状态和失败类别写入接口契约;调用方不能根据一次成功响应推导未承诺的持久性、一致性或权限语义。

3. 派生投影 ​

机制:为查询形态复制/反规范化事实。

实际使用:全文、facet、读模型。

主要失败:没有重建水位和版本。

验证方法:删除索引后从事实恢复。

取舍:查询快但最终一致。

生产实现 派生投影 时必须把输入类型、处理上限、输出状态和失败类别写入接口契约;调用方不能根据一次成功响应推导未承诺的持久性、一致性或权限语义。

4. Near real time ​

机制:refresh后新段可搜索,不等同写入提交。

实际使用:定义search freshness SLO。

主要失败:写成功立即搜索却无read-your-writes方案。

验证方法:测commit到visible延迟。

取舍:短refresh耗资源。

生产实现 Near real time 时必须把输入类型、处理上限、输出状态和失败类别写入接口契约;调用方不能根据一次成功响应推导未承诺的持久性、一致性或权限语义。

5. Partial results ​

机制:分片失败时产品可能返回部分结果。

实际使用:非关键发现类页面可显式降级。

主要失败:订单后台把partial当完整清单。

验证方法:关闭/检测partial并显示状态。

取舍:可用性与完整性取舍。

生产实现 Partial results 时必须把输入类型、处理上限、输出状态和失败类别写入接口契约;调用方不能根据一次成功响应推导未承诺的持久性、一致性或权限语义。

6. Quorum与副本 ​

机制:主分片/副本提供搜索和故障恢复。

实际使用:容量与可用性设计。

主要失败:副本当独立备份。

验证方法:故障演练和snapshot restore。

取舍:更多副本增加写/存储。

生产实现 Quorum与副本 时必须把输入类型、处理上限、输出状态和失败类别写入接口契约;调用方不能根据一次成功响应推导未承诺的持久性、一致性或权限语义。

7. Snapshot ​

机制:保存索引恢复点到repository。

实际使用:灾备与快速恢复。

主要失败:只做snapshot不测restore。

验证方法:隔离集群恢复验证。

取舍:不能替代事实重建和跨系统对账。

生产实现 Snapshot 时必须把输入类型、处理上限、输出状态和失败类别写入接口契约;调用方不能根据一次成功响应推导未承诺的持久性、一致性或权限语义。

8. 权限过滤 ​

机制:tenant/ACL必须进入搜索查询。

实际使用:防hits、total、aggregation泄露。

主要失败:先搜索后应用过滤。

验证方法:越权矩阵与聚合测试。

取舍:细粒度ACL增加索引/查询成本。

生产实现 权限过滤 时必须把输入类型、处理上限、输出状态和失败类别写入接口契约;调用方不能根据一次成功响应推导未承诺的持久性、一致性或权限语义。

9. 容量分片 ​

机制:shard是Lucene索引和并行/恢复单位。

实际使用:按数据量、QPS、节点规划。

主要失败:大量小shard耗heap,超大shard恢复慢。

验证方法:测shard size、segment、recovery。

取舍:需要基于实际压测。

生产实现 容量分片 时必须把输入类型、处理上限、输出状态和失败类别写入接口契约;调用方不能根据一次成功响应推导未承诺的持久性、一致性或权限语义。

10. 写入背压 ​

机制:bulk queue/rejection保护节点。

实际使用:consumer减速与retry。

主要失败:无限重试形成风暴。

验证方法:监控429和ingest lag。

取舍:吞吐与freshness取舍。

生产实现 写入背压 时必须把输入类型、处理上限、输出状态和失败类别写入接口契约;调用方不能根据一次成功响应推导未承诺的持久性、一致性或权限语义。

11. 生命周期 ​

机制:rollover、tier、delete管理时序索引。

实际使用:日志/事件保留。

主要失败:把产品主数据按日志策略删。

验证方法:演练policy和snapshot依赖。

取舍:自动化需权限和回滚。

生产实现 生命周期 时必须把输入类型、处理上限、输出状态和失败类别写入接口契约;调用方不能根据一次成功响应推导未承诺的持久性、一致性或权限语义。

12. 方案比较 ​

方案主要收益关键边界
PostgreSQL事务约束事实全文/大聚合有限
OpenSearch/Elasticsearch全文与聚合最终一致/运维
对象存储快照低成本恢复不能在线查询
缓存低延迟派生易失/查询能力有限
数据仓库分析事实非事务在线读

13. 完整案例:电商搜索降级 ​

输入与约束 ​

搜索集群全红20分钟;结算和订单必须可用;发现页可降级。

处理步骤 ​

  1. API熔断搜索并停止无界重试。
  2. 首页返回缓存分类/热门静态结果并标记搜索不可用。
  3. 结算按商品ID从事实服务读取价格库存。
  4. 索引consumer暂停/积压,不丢offset。
  5. 恢复后渐进追赶并对账版本。

输出 ​

核心交易正确,搜索能力显式降级。

验证 ​

关闭搜索故障演练中订单写成功;数据库不被模糊全文替代查询压垮。

失败分支 ​

降级为数据库LIKE '%q%'全表扫描会转移事故;只提供受限精确查/静态结果。

完成判断 ​

电商降级演练必须证明搜索全停时订单写入仍满足数据库约束,备用精确查询受索引与速率限制,恢复后按事实水位补齐投影;禁止以无界 LIKE '%q%' 把故障转移到主库。

14. 完整案例:多租户文档检索 ​

输入与约束 ​

文档含敏感ACL,搜索支持全文和聚合,任何泄露不可接受。

处理步骤 ​

  1. 索引文档携带tenant与可查询ACL模型。
  2. 认证主体转换为受控filter,不接受客户端tenant。
  3. filter同时约束hits、highlight和aggregation。
  4. 高敏字段不进入索引或单独权限域。
  5. 数据库最终授权敏感下载,搜索只返回候选ID。

输出 ​

搜索结果与计数均不跨租户,下载再次授权。

验证 ​

无权文档ID/词/聚合均不可推断;缓存key含权限版本。

失败分支 ​

只过滤hits会通过total/facet泄露存在性;权限必须在搜索执行层覆盖全部输出。

完成判断 ​

多租户检索以“不可推断”为门槛:无权文档不能出现在 hit、total、facet、highlight 或缓存侧信道中,下载时数据库再次授权,权限版本改变后相关缓存立即失效。

15. 失败注入矩阵 ​

注入点应观察的系统行为不允许的结果
输入中加入未知字段/极端长度cluster_health 出现可解释变化并触发受控降级静默丢数据、跨权限返回或无限重试
暂停一个处理节点unassigned_shards 出现可解释变化并触发受控降级静默丢数据、跨权限返回或无限重试
让下游返回429或503search_partial 出现可解释变化并触发受控降级静默丢数据、跨权限返回或无限重试
制造重复与乱序版本search_p99 出现可解释变化并触发受控降级静默丢数据、跨权限返回或无限重试
使磁盘达到高水位indexing_rejections 出现可解释变化并触发受控降级静默丢数据、跨权限返回或无限重试
让请求在提交后断线freshness_lag 出现可解释变化并触发受控降级静默丢数据、跨权限返回或无限重试
撤销一个租户权限shard_size 出现可解释变化并触发受控降级静默丢数据、跨权限返回或无限重试
使后台任务积压超过SLOheap_pressure 出现可解释变化并触发受控降级静默丢数据、跨权限返回或无限重试

16. 调试路径与观测信号 ​

  1. cluster_health:定义采样点、单位、维度和告警窗口;只使用低基数标签,具体资源 ID 进入受控日志或 trace。
  2. unassigned_shards:定义采样点、单位、维度和告警窗口;只使用低基数标签,具体资源 ID 进入受控日志或 trace。
  3. search_partial:定义采样点、单位、维度和告警窗口;只使用低基数标签,具体资源 ID 进入受控日志或 trace。
  4. search_p99:定义采样点、单位、维度和告警窗口;只使用低基数标签,具体资源 ID 进入受控日志或 trace。
  5. indexing_rejections:定义采样点、单位、维度和告警窗口;只使用低基数标签,具体资源 ID 进入受控日志或 trace。
  6. freshness_lag:定义采样点、单位、维度和告警窗口;只使用低基数标签,具体资源 ID 进入受控日志或 trace。
  7. shard_size:定义采样点、单位、维度和告警窗口;只使用低基数标签,具体资源 ID 进入受控日志或 trace。
  8. heap_pressure:定义采样点、单位、维度和告警窗口;只使用低基数标签,具体资源 ID 进入受控日志或 trace。
  9. snapshot_restore_test:定义采样点、单位、维度和告警窗口;只使用低基数标签,具体资源 ID 进入受控日志或 trace。
  10. authorization_leak_tests:定义采样点、单位、维度和告警窗口;只使用低基数标签,具体资源 ID 进入受控日志或 trace。

出现 partial result 时先查 cluster health、失败 shard 与副本分配,再判断是否允许返回;freshness 问题用事实源版本减索引版本定位 backlog。授权问题单独跑跨租户 golden tests,不能从总体 search p99 推断安全正确。

17. 性能、安全与运维边界 ​

  1. 所有用户输入有长度、结构、复杂度和超时上限;对 搜索引擎作为派生系统:权威边界、可靠性与容量 的实现要给出责任人和可执行验证。
  2. 租户与权限条件来自认证主体,不信任请求正文;对 搜索引擎作为派生系统:权威边界、可靠性与容量 的实现要给出责任人和可执行验证。
  3. 重试有总预算、退避、抖动和幂等保护;对 搜索引擎作为派生系统:权威边界、可靠性与容量 的实现要给出责任人和可执行验证。
  4. 派生数据能从事实源按明确水位重建;对 搜索引擎作为派生系统:权威边界、可靠性与容量 的实现要给出责任人和可执行验证。
  5. 敏感正文不进入普通日志、指标标签或公开快照;对 搜索引擎作为派生系统:权威边界、可靠性与容量 的实现要给出责任人和可执行验证。
  6. 容量按峰值写入、查询、恢复和副本同时估算;对 搜索引擎作为派生系统:权威边界、可靠性与容量 的实现要给出责任人和可执行验证。
  7. 发布采用版本化结构、canary、对账和回退窗口;对 搜索引擎作为派生系统:权威边界、可靠性与容量 的实现要给出责任人和可执行验证。
  8. 删除覆盖索引、缓存、快照与下游派生系统;对 搜索引擎作为派生系统:权威边界、可靠性与容量 的实现要给出责任人和可执行验证。
  9. 依赖不可用时核心正确性不由降级路径破坏;对 搜索引擎作为派生系统:权威边界、可靠性与容量 的实现要给出责任人和可执行验证。
  10. 运行手册包含暂停、恢复、验证和人工升级条件;对 搜索引擎作为派生系统:权威边界、可靠性与容量 的实现要给出责任人和可执行验证。

18. 综合练习与验收 ​

为“电商搜索降级”实现最小生产链路,并把“多租户文档检索”作为不同约束下的对照。提交配置、请求/响应、数据样例、故障脚本和观测面板。

  • [ ] 验收 1:事实来源 的机制、使用、失败与验证均能用真实输入复现。
  • [ ] 验收 2:派生投影 的机制、使用、失败与验证均能用真实输入复现。
  • [ ] 验收 3:Near real time 的机制、使用、失败与验证均能用真实输入复现。
  • [ ] 验收 4:Partial results 的机制、使用、失败与验证均能用真实输入复现。
  • [ ] 验收 5:Quorum与副本 的机制、使用、失败与验证均能用真实输入复现。
  • [ ] 验收 6:Snapshot 的机制、使用、失败与验证均能用真实输入复现。
  • [ ] 验收 7:权限过滤 的机制、使用、失败与验证均能用真实输入复现。
  • [ ] 验收 8:容量分片 的机制、使用、失败与验证均能用真实输入复现。
  • [ ] 搜索不可用、部分 shard 失败和 freshness 超限分别映射到明确产品状态,不静默返回不完整结果。
  • [ ] 多租户测试覆盖 hits、total、facet、highlight、cache key 和最终下载授权。
  • [ ] 容量计划同时包含正常查询、在线写入、节点故障副本恢复与全量重建的磁盘和吞吐余量。

来源 ​

从前端走向软件产品工程的长期路线图。