搜索引擎作为派生系统:权威边界、可靠性与容量
搜索引擎可存储可查询文档,但不应在产品架构中自动成为订单、余额、授权和用户资料的唯一事实源。派生系统可以丢弃重建,事实系统负责约束、事务、审计和恢复。
1. 能力边界与机制图
flowchart LR
A["事实输入"] --> B["索引/处理机制"]
B --> C["查询或派生输出"]
C --> D["验证与观测"]
D --> E["失败恢复/重建"]图中的索引只保存事实系统的可重建投影。订单写入、余额计算和最终授权始终回到权威数据库;搜索健康度只决定检索能力是完整、部分还是降级,不能改变交易裁决。
2. 事实来源
机制:拥有业务不变量和写入裁决。
实际使用:订单、账户、权限由数据库提交。
主要失败:让搜索脚本直接扣库存。
验证方法:故障关闭搜索后核心写仍正确。
取舍:权威系统延迟高但语义完整。
生产实现 事实来源 时必须把输入类型、处理上限、输出状态和失败类别写入接口契约;调用方不能根据一次成功响应推导未承诺的持久性、一致性或权限语义。
3. 派生投影
机制:为查询形态复制/反规范化事实。
实际使用:全文、facet、读模型。
主要失败:没有重建水位和版本。
验证方法:删除索引后从事实恢复。
取舍:查询快但最终一致。
生产实现 派生投影 时必须把输入类型、处理上限、输出状态和失败类别写入接口契约;调用方不能根据一次成功响应推导未承诺的持久性、一致性或权限语义。
4. Near real time
机制:refresh后新段可搜索,不等同写入提交。
实际使用:定义search freshness SLO。
主要失败:写成功立即搜索却无read-your-writes方案。
验证方法:测commit到visible延迟。
取舍:短refresh耗资源。
生产实现 Near real time 时必须把输入类型、处理上限、输出状态和失败类别写入接口契约;调用方不能根据一次成功响应推导未承诺的持久性、一致性或权限语义。
5. Partial results
机制:分片失败时产品可能返回部分结果。
实际使用:非关键发现类页面可显式降级。
主要失败:订单后台把partial当完整清单。
验证方法:关闭/检测partial并显示状态。
取舍:可用性与完整性取舍。
生产实现 Partial results 时必须把输入类型、处理上限、输出状态和失败类别写入接口契约;调用方不能根据一次成功响应推导未承诺的持久性、一致性或权限语义。
6. Quorum与副本
机制:主分片/副本提供搜索和故障恢复。
实际使用:容量与可用性设计。
主要失败:副本当独立备份。
验证方法:故障演练和snapshot restore。
取舍:更多副本增加写/存储。
生产实现 Quorum与副本 时必须把输入类型、处理上限、输出状态和失败类别写入接口契约;调用方不能根据一次成功响应推导未承诺的持久性、一致性或权限语义。
7. Snapshot
机制:保存索引恢复点到repository。
实际使用:灾备与快速恢复。
主要失败:只做snapshot不测restore。
验证方法:隔离集群恢复验证。
取舍:不能替代事实重建和跨系统对账。
生产实现 Snapshot 时必须把输入类型、处理上限、输出状态和失败类别写入接口契约;调用方不能根据一次成功响应推导未承诺的持久性、一致性或权限语义。
8. 权限过滤
机制:tenant/ACL必须进入搜索查询。
实际使用:防hits、total、aggregation泄露。
主要失败:先搜索后应用过滤。
验证方法:越权矩阵与聚合测试。
取舍:细粒度ACL增加索引/查询成本。
生产实现 权限过滤 时必须把输入类型、处理上限、输出状态和失败类别写入接口契约;调用方不能根据一次成功响应推导未承诺的持久性、一致性或权限语义。
9. 容量分片
机制:shard是Lucene索引和并行/恢复单位。
实际使用:按数据量、QPS、节点规划。
主要失败:大量小shard耗heap,超大shard恢复慢。
验证方法:测shard size、segment、recovery。
取舍:需要基于实际压测。
生产实现 容量分片 时必须把输入类型、处理上限、输出状态和失败类别写入接口契约;调用方不能根据一次成功响应推导未承诺的持久性、一致性或权限语义。
10. 写入背压
机制:bulk queue/rejection保护节点。
实际使用:consumer减速与retry。
主要失败:无限重试形成风暴。
验证方法:监控429和ingest lag。
取舍:吞吐与freshness取舍。
生产实现 写入背压 时必须把输入类型、处理上限、输出状态和失败类别写入接口契约;调用方不能根据一次成功响应推导未承诺的持久性、一致性或权限语义。
11. 生命周期
机制:rollover、tier、delete管理时序索引。
实际使用:日志/事件保留。
主要失败:把产品主数据按日志策略删。
验证方法:演练policy和snapshot依赖。
取舍:自动化需权限和回滚。
生产实现 生命周期 时必须把输入类型、处理上限、输出状态和失败类别写入接口契约;调用方不能根据一次成功响应推导未承诺的持久性、一致性或权限语义。
12. 方案比较
| 方案 | 主要收益 | 关键边界 |
|---|---|---|
| PostgreSQL | 事务约束事实 | 全文/大聚合有限 |
| OpenSearch/Elasticsearch | 全文与聚合 | 最终一致/运维 |
| 对象存储快照 | 低成本恢复 | 不能在线查询 |
| 缓存 | 低延迟派生 | 易失/查询能力有限 |
| 数据仓库 | 分析事实 | 非事务在线读 |
13. 完整案例:电商搜索降级
输入与约束
搜索集群全红20分钟;结算和订单必须可用;发现页可降级。
处理步骤
- API熔断搜索并停止无界重试。
- 首页返回缓存分类/热门静态结果并标记搜索不可用。
- 结算按商品ID从事实服务读取价格库存。
- 索引consumer暂停/积压,不丢offset。
- 恢复后渐进追赶并对账版本。
输出
核心交易正确,搜索能力显式降级。
验证
关闭搜索故障演练中订单写成功;数据库不被模糊全文替代查询压垮。
失败分支
降级为数据库LIKE '%q%'全表扫描会转移事故;只提供受限精确查/静态结果。
完成判断
电商降级演练必须证明搜索全停时订单写入仍满足数据库约束,备用精确查询受索引与速率限制,恢复后按事实水位补齐投影;禁止以无界 LIKE '%q%' 把故障转移到主库。
14. 完整案例:多租户文档检索
输入与约束
文档含敏感ACL,搜索支持全文和聚合,任何泄露不可接受。
处理步骤
- 索引文档携带tenant与可查询ACL模型。
- 认证主体转换为受控filter,不接受客户端tenant。
- filter同时约束hits、highlight和aggregation。
- 高敏字段不进入索引或单独权限域。
- 数据库最终授权敏感下载,搜索只返回候选ID。
输出
搜索结果与计数均不跨租户,下载再次授权。
验证
无权文档ID/词/聚合均不可推断;缓存key含权限版本。
失败分支
只过滤hits会通过total/facet泄露存在性;权限必须在搜索执行层覆盖全部输出。
完成判断
多租户检索以“不可推断”为门槛:无权文档不能出现在 hit、total、facet、highlight 或缓存侧信道中,下载时数据库再次授权,权限版本改变后相关缓存立即失效。
15. 失败注入矩阵
| 注入点 | 应观察的系统行为 | 不允许的结果 |
|---|---|---|
| 输入中加入未知字段/极端长度 | cluster_health 出现可解释变化并触发受控降级 | 静默丢数据、跨权限返回或无限重试 |
| 暂停一个处理节点 | unassigned_shards 出现可解释变化并触发受控降级 | 静默丢数据、跨权限返回或无限重试 |
| 让下游返回429或503 | search_partial 出现可解释变化并触发受控降级 | 静默丢数据、跨权限返回或无限重试 |
| 制造重复与乱序版本 | search_p99 出现可解释变化并触发受控降级 | 静默丢数据、跨权限返回或无限重试 |
| 使磁盘达到高水位 | indexing_rejections 出现可解释变化并触发受控降级 | 静默丢数据、跨权限返回或无限重试 |
| 让请求在提交后断线 | freshness_lag 出现可解释变化并触发受控降级 | 静默丢数据、跨权限返回或无限重试 |
| 撤销一个租户权限 | shard_size 出现可解释变化并触发受控降级 | 静默丢数据、跨权限返回或无限重试 |
| 使后台任务积压超过SLO | heap_pressure 出现可解释变化并触发受控降级 | 静默丢数据、跨权限返回或无限重试 |
16. 调试路径与观测信号
cluster_health:定义采样点、单位、维度和告警窗口;只使用低基数标签,具体资源 ID 进入受控日志或 trace。unassigned_shards:定义采样点、单位、维度和告警窗口;只使用低基数标签,具体资源 ID 进入受控日志或 trace。search_partial:定义采样点、单位、维度和告警窗口;只使用低基数标签,具体资源 ID 进入受控日志或 trace。search_p99:定义采样点、单位、维度和告警窗口;只使用低基数标签,具体资源 ID 进入受控日志或 trace。indexing_rejections:定义采样点、单位、维度和告警窗口;只使用低基数标签,具体资源 ID 进入受控日志或 trace。freshness_lag:定义采样点、单位、维度和告警窗口;只使用低基数标签,具体资源 ID 进入受控日志或 trace。shard_size:定义采样点、单位、维度和告警窗口;只使用低基数标签,具体资源 ID 进入受控日志或 trace。heap_pressure:定义采样点、单位、维度和告警窗口;只使用低基数标签,具体资源 ID 进入受控日志或 trace。snapshot_restore_test:定义采样点、单位、维度和告警窗口;只使用低基数标签,具体资源 ID 进入受控日志或 trace。authorization_leak_tests:定义采样点、单位、维度和告警窗口;只使用低基数标签,具体资源 ID 进入受控日志或 trace。
出现 partial result 时先查 cluster health、失败 shard 与副本分配,再判断是否允许返回;freshness 问题用事实源版本减索引版本定位 backlog。授权问题单独跑跨租户 golden tests,不能从总体 search p99 推断安全正确。
17. 性能、安全与运维边界
- 所有用户输入有长度、结构、复杂度和超时上限;对 搜索引擎作为派生系统:权威边界、可靠性与容量 的实现要给出责任人和可执行验证。
- 租户与权限条件来自认证主体,不信任请求正文;对 搜索引擎作为派生系统:权威边界、可靠性与容量 的实现要给出责任人和可执行验证。
- 重试有总预算、退避、抖动和幂等保护;对 搜索引擎作为派生系统:权威边界、可靠性与容量 的实现要给出责任人和可执行验证。
- 派生数据能从事实源按明确水位重建;对 搜索引擎作为派生系统:权威边界、可靠性与容量 的实现要给出责任人和可执行验证。
- 敏感正文不进入普通日志、指标标签或公开快照;对 搜索引擎作为派生系统:权威边界、可靠性与容量 的实现要给出责任人和可执行验证。
- 容量按峰值写入、查询、恢复和副本同时估算;对 搜索引擎作为派生系统:权威边界、可靠性与容量 的实现要给出责任人和可执行验证。
- 发布采用版本化结构、canary、对账和回退窗口;对 搜索引擎作为派生系统:权威边界、可靠性与容量 的实现要给出责任人和可执行验证。
- 删除覆盖索引、缓存、快照与下游派生系统;对 搜索引擎作为派生系统:权威边界、可靠性与容量 的实现要给出责任人和可执行验证。
- 依赖不可用时核心正确性不由降级路径破坏;对 搜索引擎作为派生系统:权威边界、可靠性与容量 的实现要给出责任人和可执行验证。
- 运行手册包含暂停、恢复、验证和人工升级条件;对 搜索引擎作为派生系统:权威边界、可靠性与容量 的实现要给出责任人和可执行验证。
18. 综合练习与验收
为“电商搜索降级”实现最小生产链路,并把“多租户文档检索”作为不同约束下的对照。提交配置、请求/响应、数据样例、故障脚本和观测面板。
- [ ] 验收 1:事实来源 的机制、使用、失败与验证均能用真实输入复现。
- [ ] 验收 2:派生投影 的机制、使用、失败与验证均能用真实输入复现。
- [ ] 验收 3:Near real time 的机制、使用、失败与验证均能用真实输入复现。
- [ ] 验收 4:Partial results 的机制、使用、失败与验证均能用真实输入复现。
- [ ] 验收 5:Quorum与副本 的机制、使用、失败与验证均能用真实输入复现。
- [ ] 验收 6:Snapshot 的机制、使用、失败与验证均能用真实输入复现。
- [ ] 验收 7:权限过滤 的机制、使用、失败与验证均能用真实输入复现。
- [ ] 验收 8:容量分片 的机制、使用、失败与验证均能用真实输入复现。
- [ ] 搜索不可用、部分 shard 失败和 freshness 超限分别映射到明确产品状态,不静默返回不完整结果。
- [ ] 多租户测试覆盖 hits、total、facet、highlight、cache key 和最终下载授权。
- [ ] 容量计划同时包含正常查询、在线写入、节点故障副本恢复与全量重建的磁盘和吞吐余量。
来源
- OpenSearch Cluster health(访问日期:2026-07-17)
- OpenSearch Snapshot and restore(访问日期:2026-07-17)
- OpenSearch Search API(访问日期:2026-07-17)
- Elasticsearch Resilience in larger clusters(访问日期:2026-07-17)
- OpenSearch 3.7 version history(访问日期:2026-07-17)