Skip to content

备份、恢复、PITR、RPO 与 RTO ​

备份的价值只在可恢复。恢复设计先从业务可接受的数据损失和停机时间出发,再选择 PostgreSQL 基础备份、WAL 归档、逻辑备份、复制与异地存储,并通过定期恢复演练证明。

1. RPO、RTO 与恢复目标 ​

  • RPO(Recovery Point Objective):事故后最多允许丢失多少时间范围的数据。例如 RPO 5 分钟表示恢复点最多落后故障约 5 分钟;它不是备份频率的同义词。
  • RTO(Recovery Time Objective):从服务中断到恢复到定义服务水平的最长目标时间,包括检测、决策、准备、恢复、验证和切流。

还要定义恢复粒度:整个集群、单数据库、单表、单租户、误删前时间点;以及恢复后的能力,是只读核心功能还是全部服务。

mermaid
flowchart LR
    A["故障发生"] --> B["检测与宣告"]
    B --> C["选择恢复点"]
    C --> D["恢复基础备份"]
    D --> E["重放 WAL / 导入逻辑数据"]
    E --> F["一致性与安全验证"]
    F --> G["切流并监控"]

RTO 要覆盖整条链,不只计算文件复制时间。

2. 高可用不等于备份 ​

流复制和自动故障转移降低硬件/节点故障的 RTO,但误删、错误 migration、勒索加密和逻辑损坏也会迅速复制到副本。备份提供历史恢复点和独立故障域;HA 与备份都需要。

同一云账户、同一权限和同一区域中的副本/备份可能被同一次事故删除。备份至少使用独立权限、异地区域/账户、不可变保留或对象锁,并测试访问凭据在灾难时可用。

3. 物理基础备份与 WAL ​

PostgreSQL 物理恢复以集群数据目录的一致基础备份配合 WAL 归档。pg_basebackup 可从运行中集群取得基础备份;WAL 记录之后的变化,用于恢复到最新可用点或指定时间点。

WAL 归档配置必须保证每个完成的 segment 可靠复制且相同文件名不会被错误覆盖。archive_command 返回成功后 PostgreSQL 才认为已归档;脚本要原子写、校验并避免把失败误报成功。PostgreSQL 18 也提供 archive library 接口,具体部署按环境选择。

归档积压会占满 pg_wal。监控归档失败、last archived time、WAL 生成速率、复制槽保留和磁盘余量。不要通过直接删除 pg_wal 文件“解决”空间,会破坏数据库。

4. 时间点恢复(PITR) ​

PITR 流程:恢复一个基础备份,再按顺序重放归档 WAL,直到目标时间、LSN、事务 ID 或命名 restore point。它通常恢复整个 PostgreSQL 集群,不是直接从物理备份抽出单表。

误删单表的安全做法:

  1. 冻结破坏性操作并记录事故时间范围。
  2. 选择早于误操作的恢复目标。
  3. 在隔离环境恢复整个集群,绝不覆盖唯一生产副本。
  4. 验证时区、目标时间和数据一致性。
  5. 用逻辑导出提取所需表/行。
  6. 设计与当前生产数据合并,处理事故后合法新写入。

恢复到“误删前一秒”依赖可靠时钟和事务提交点。先用审计/WAL/应用事件缩小窗口,必要时恢复多个候选点验证。

5. 逻辑备份 ​

pg_dump 导出一个数据库的一致逻辑快照,支持选择 schema/table、可移植对象定义和数据;pg_dumpall 可导出全局对象(角色、tablespace 等)及所有数据库脚本。它们不替代整个集群 PITR。

自定义/目录格式配合 pg_restore 支持选择对象和并行恢复。逻辑恢复需要兼容的服务端版本、扩展、角色、排序规则和权限。大库导入可能远慢于物理恢复,必须实测 RTO。

一致快照不等于捕获所有外部依赖:对象存储文件、消息队列、搜索索引、密钥和应用配置需要关联备份/重建策略。恢复点之间要用业务 ID 或事件水位对齐。

6. 备份一致性、加密与校验 ​

备份传输和静态存储加密;密钥与备份分开保护,同时确保灾难恢复人员能按审批流程取得。密钥丢失等于备份不可恢复。

备份文件保存:来源集群/版本、开始结束时间、WAL 范围、大小、校验和、工具版本、加密密钥版本、保留策略和验证状态。校验和只能发现传输/存储变化,不能证明数据库逻辑完整或备份可启动。

访问最小权限:生产数据库写账户不能删除备份;备份服务只能追加指定路径;删除需独立审批。备份日志不含密码,凭据用 secret manager/短期身份。

7. 保留与容量 ​

常见分层:每日/每周/月度基础备份 + 连续 WAL;具体周期由 RPO、法规、数据变化率和恢复成本决定。保留策略必须涵盖检测延迟:如果逻辑损坏 20 天后才发现,7 天备份无用。

容量估算包括完整备份、增量/差异(若使用外部工具)、WAL 生成率、压缩、加密开销、跨区传输和恢复临时空间。高写入或批量回填会显著增加 WAL,应提前扩容并观察归档。

备份删除要与基础备份的 WAL 依赖一致。过早删除归档段会让某个基础备份无法恢复到目标点;使用具备保留计算的工具或清晰清单。

8. 恢复验证层次 ​

文件级 ​

对象存在、大小、校验和、加密可解、清单完整。

PostgreSQL 级 ​

能启动隔离实例;版本/扩展/配置正确;WAL 重放到目标;无恢复错误;pg_verifybackup 可验证由 pg_basebackup 生成的备份清单与文件(仍不替代启动测试)。

数据级 ​

关键表计数、约束、外键、索引、最近业务记录和 tenant 隔离验证。运行 ANALYZE 等恢复后必要步骤并检查计划/性能。

应用级 ​

用只读/隔离凭据运行冒烟:登录、查订单、对账;外部发送器、邮件和 Webhook 默认禁用,防止恢复环境对真实用户产生副作用。

RPO/RTO 级 ​

记录真实恢复点与故障点差距、每阶段耗时和人工等待。若超目标,改变架构、并行度、备份频率或运行手册,而不是修改报告。

9. 恢复演练 ​

至少定期自动恢复最新备份到隔离网络,另做人工灾难演练。场景包括:主节点损坏、区域不可用、误删表、错误 migration、备份凭据失效、归档缺段、加密密钥轮换、单租户恢复。

runbook 写明负责人、宣告条件、通信渠道、凭据获取、基础备份选择、WAL 目标、DNS/连接切流、验证查询、外部副作用隔离和回退。命令使用占位变量并在演练环境验证,不能临时从网络复制生产命令。

演练后的发现进入任务:例如恢复需要旧扩展包、DNS TTL 过长、备份账号只有离职员工能访问、恢复后 sequence 落后。这些都是恢复系统缺陷。

10. 数据库恢复与应用一致性 ​

PITR 回到 T 时刻后,外部支付可能已经在 T 之后完成,对象存储也有新文件。不能只切数据库就宣告一致。为每个外部系统定义权威源和对账:

  • 支付:按 provider transaction ID 查询并补写状态。
  • 对象:按 object manifest/event log 识别孤儿与缺失引用。
  • 消息:按 outbox/event ID 重新投递且消费者幂等。
  • 搜索:从恢复后的数据库全量/增量重建。

恢复后可先只读,运行对账和补偿,再开放写入。

11. 完整案例:误删租户订单 ​

输入 ​

10:03 UTC 的错误脚本删除租户 t_7 订单,10:11 发现。其他租户在 8 分钟内继续产生订单;RPO 5 分钟,核心读取 RTO 60 分钟。系统有每日物理备份、连续 WAL 和每周逻辑归档。

步骤 ​

  1. 立即撤销错误脚本凭据、停止相同任务,保留生产继续运行;记录删除事务和审计时间。
  2. 不把整个生产回退到 10:02,否则会丢其他租户 8 分钟合法数据。
  3. 在隔离集群恢复最近基础备份,重放 WAL 到删除事务前的候选点。
  4. 验证 t_7 订单数量、明细、付款引用和目标时间,同时禁用所有外部发送器。
  5. 从隔离集群逻辑导出 t_7 受影响行;与生产中 10:03 后 t_7 新数据按主键/业务 ID 对账。
  6. 在生产用受审计、可回滚的导入事务恢复缺失行,按外键顺序处理;冲突不覆盖。
  7. 重建搜索、重新投递缺失 outbox,并与支付供应商对账。

输出 ​

只恢复受影响租户的缺失对象,不回退其他租户。恢复报告记录最后完整业务时点、实际数据损失(目标为 0)、总耗时和未决对账。

验证 ​

  • 主表/明细/审计/outbox 外键与计数一致。
  • 抽样金额总和与支付侧一致。
  • 跨租户查询为零,导入条件始终含 tenant。
  • 恢复环境没有发送真实 Webhook/邮件。
  • 演练计时包含审批、下载、启动、验证和切换。

失败分支 ​

若归档 WAL 在 09:50 后缺段,PITR 无法跨越缺口,实际 RPO 远差于配置值。不要伪造恢复;回退到最后可恢复点,使用应用事件/外部权威源补偿,并修复归档告警。若直接全库 PITR 覆盖生产,会删除事故后其他租户合法写入,必须先旁路恢复并选择性合并。

12. PostgreSQL、MySQL 与 SQLite 边界 ​

本文命令和 WAL/PITR 机制针对 PostgreSQL 18.4。MySQL 使用 binlog、物理/逻辑工具和不同的复制恢复流程。SQLite 是单文件数据库但在线复制文件可能得到不一致快照,尤其存在 WAL 文件时;应使用 SQLite backup API、VACUUM INTO 或受支持工具,并验证关联 -wal/-shm 状态。不能把“复制一个文件”当所有 SQLite 部署的可靠备份。

任何数据库都遵循同一原则:从 RPO/RTO出发、隔离故障域、保护密钥、验证恢复、演练应用一致性;具体命令不可跨数据库照搬。

13. 常见错误 ​

  • 有只读副本就认为有备份。
  • 备份成功告警正常,从未恢复启动。
  • 备份与生产同账户同权限,可一起被删除。
  • 只备数据库,不备全局角色、扩展、对象存储和配置。
  • 逻辑 dump 大库未测恢复时间,却承诺很短 RTO。
  • PITR 直接覆盖生产,未旁路验证目标时间。
  • 恢复环境发送真实邮件或支付请求。
  • 密钥轮换后旧备份无法解密。
  • 将 19 Beta 文档当稳定生产版本;本文生产基线为 PostgreSQL 18.4。

14. 练习 ​

为订单系统制定 RPO 5 分钟、核心读 RTO 60 分钟、全写 RTO 120 分钟的恢复方案。设计基础备份/WAL/逻辑导出、异地不可变保留、监控和季度演练。

完成标准:最新备份能在隔离环境自动启动;WAL 缺段在 5 分钟内告警;恢复步骤包含密钥、扩展和外部副作用隔离;记录真实 RPO/RTO;能旁路恢复单租户误删;支付/对象/消息/搜索有对账方案;删除生产数据库的身份不能删除备份。

来源 ​

从前端走向软件产品工程的长期路线图。