Skip to content

OLTP、OLAP、ETL、ELT 与 CDC ​

OLTP 优化小范围事务读写,OLAP 优化大范围扫描聚合。ETL/ELT 描述变换位置,CDC 捕获已提交变化;这些是工作负载和数据流模式,不是互斥产品标签。

1. 数据流与决策边界 ​

mermaid
flowchart LR
 A["源事实/事件"] --> B["传输与处理"]
 B --> C["模型/存储"]
 C --> D["查询与指标"]
 D --> E["质量、对账与重建"]

CDC 必须保留源事务顺序、日志位置、主键、操作类型和行版本,才能把 OLTP 变更可靠地投影到 OLAP。快照与增量的交界、更新/删除语义和 schema 演进都需要可验证;只看到目标表“有数据”不能证明没有缺口或重复。

2. OLTP ​

机制:短事务、点查、小批写、约束和并发控制。

实际用途:订单、余额、库存事实。

失败方式:在主库跑无界全表BI。

验证:事务p99、锁、WAL、连接。

取舍:强一致写与分析扫描资源冲突。

OLTP 的生产契约还要定义输入schema、业务/事件时间、幂等键、水位、迟到/删除和重跑行为;成功状态必须对应已发布且通过质量门禁的数据。

3. OLAP ​

机制:列式读取、压缩、向量化和数据跳过。

实际用途:跨亿行group/filter分析。

失败方式:用其替代高并发逐行事务。

验证:scan bytes、rows/s、query p95。

取舍:吞吐高但更新/事务语义不同。

OLAP 的生产契约还要定义输入schema、业务/事件时间、幂等键、水位、迟到/删除和重跑行为;成功状态必须对应已发布且通过质量门禁的数据。

4. ETL ​

机制:抽取后在进入目标前转换。

实际用途:强清洗、固定仓库模型。

失败方式:黑盒脚本无原始重放。

验证:输入输出行数/hash和版本。

取舍:目标干净但变更需重跑管道。

ETL 的生产契约还要定义输入schema、业务/事件时间、幂等键、水位、迟到/删除和重跑行为;成功状态必须对应已发布且通过质量门禁的数据。

5. ELT ​

机制:先加载原始/近原始数据,再在目标计算。

实际用途:云仓库/lake保留可重算历史。

失败方式:把未治理原始表直接开放。

验证:分层权限、模型测试和成本。

取舍:灵活但计算/治理转移到目标。

ELT 的生产契约还要定义输入schema、业务/事件时间、幂等键、水位、迟到/删除和重跑行为;成功状态必须对应已发布且通过质量门禁的数据。

6. CDC ​

机制:读取WAL/binlog变化与事务顺序。

实际用途:低延迟同步、缓存/搜索/OLAP。

失败方式:把CDC事件当完整领域语义。

验证:LSN/offset、snapshot水位、lag。

取舍:覆盖写者但耦合物理schema。

CDC 的生产契约还要定义输入schema、业务/事件时间、幂等键、水位、迟到/删除和重跑行为;成功状态必须对应已发布且通过质量门禁的数据。

7. Snapshot ​

机制:提供历史基线并与增量衔接。

实际用途:首次加载/重建。

失败方式:snapshot期间直接接当前流量产生缺口。

验证:一致快照位置与count/hash。

取舍:成本高但恢复必需。

Snapshot 的生产契约还要定义输入schema、业务/事件时间、幂等键、水位、迟到/删除和重跑行为;成功状态必须对应已发布且通过质量门禁的数据。

8. Delete/Tombstone ​

机制:传递源删除和版本。

实际用途:下游不复活数据。

失败方式:忽略delete只做upsert。

验证:源下游删除count和版本。

取舍:隐私/历史保留需分别定义。

Delete/Tombstone 的生产契约还要定义输入schema、业务/事件时间、幂等键、水位、迟到/删除和重跑行为;成功状态必须对应已发布且通过质量门禁的数据。

9. Schema evolution ​

机制:源列增删/类型变化传播到pipeline。

实际用途:expand-contract和模型版本。

失败方式:自动接受破坏类型导致停流。

验证:兼容检查、DLQ和canary。

取舍:治理增加发布协调。

Schema evolution 的生产契约还要定义输入schema、业务/事件时间、幂等键、水位、迟到/删除和重跑行为;成功状态必须对应已发布且通过质量门禁的数据。

10. Watermark ​

机制:表示已处理的源位置/事件时间进度。

实际用途:恢复、延迟和窗口完成。

失败方式:只用墙钟推断完整性。

验证:按partition记录并检测gap。

取舍:提供进度但需持久一致。

CDC watermark 应明确它表示已读取、已写入还是已对账的源日志位置,并按源分片持久化。只有该位置之前的更新与删除都已幂等落入目标,才能用它计算复制延迟或作为安全回填边界。

11. Backfill ​

机制:历史数据按稳定分片重算。

实际用途:修复逻辑和新增指标。

失败方式:与增量双写无水位导致重复漏失。

验证:batch ID、版本、对账、限速。

取舍:可修复但资源和合并复杂。

Backfill 的生产契约还要定义输入schema、业务/事件时间、幂等键、水位、迟到/删除和重跑行为;成功状态必须对应已发布且通过质量门禁的数据。

12. 方案比较 ​

方案主要能力边界
OLTP行存点查事务大扫描干扰
列式OLAP聚合扫描逐行更新成本
ETL目标前转换原始重算能力弱
ELT目标内转换成本治理复杂
CDC低延迟增量不是完整备份

13. 完整案例:PostgreSQL到ClickHouse实时订单分析 ​

输入与约束 ​

订单主库不可被BI拖慢;分析5分钟内可见;删除和金额版本必须正确。

处理步骤 ​

  1. PostgreSQL事务写事实并保留版本。
  2. Debezium一致快照记录LSN后读取WAL。
  3. Kafka按表/订单key传递,schema受控。
  4. ClickHouse staging幂等写入并用版本模型生成查询表。
  5. 按tenant/day对账count、sum、max version与delete。

输出 ​

交易主库承担正确性,ClickHouse承担扫描聚合,freshness可量化。

验证 ​

snapshot+stream无gap;乱序最终最高版本;主库BI连接被禁止/限额。

失败分支 ​

把更新当普通append会重复金额;必须保留变更语义并按版本构建事实。

恢复与重跑 ​

从已确认的源 LSN 与消费 offset 恢复,重复变更按订单主键和源版本幂等合并。若 ClickHouse 写入已成功但 offset 未提交,允许重放而不能重复计量;快照重建写入新表并持续追平 WAL,按 count、金额、删除和最大版本对账后再切换查询。

14. 完整案例:批量财务ETL ​

输入与约束 ​

每日对象存储CSV、金额需精确、错误行不能静默丢,次日8点报表。

处理步骤 ​

  1. 保存原始对象checksum和manifest。
  2. 解析到隔离staging,金额用decimal/整数分。
  3. 质量规则输出accepted/rejected与reason。
  4. 单batch事务/分区发布curated表。
  5. 对账文件总额、行数、重复业务键并记录lineage。

输出 ​

每个报表可追溯到输入对象、代码版本和质量结果。

验证 ​

重复运行同batch幂等;坏行有隔离;总额守恒。

失败分支 ​

解析失败后跳过行仍显示job成功会少计;质量阈值和发布门禁必须阻止。

恢复与重跑 ​

同一输入 manifest/checksum 生成稳定 batch ID,解析结果写该批次的隔离分区。失败重跑先清理或覆盖未发布分区,不触碰已审批报表;坏行修正规则产生新 run 与质量报告,总额和行数重新守恒后才原子替换该业务日版本。

15. 失败注入矩阵 ​

注入预期信号与恢复禁止结果
重复输入oltp_p99 变化可解释,按水位/版本恢复静默丢行、重复计量、越权或覆盖已发布版本
乱序和迟到olap_scan_bytes 变化可解释,按水位/版本恢复静默丢行、重复计量、越权或覆盖已发布版本
源schema变化cdc_lag 变化可解释,按水位/版本恢复静默丢行、重复计量、越权或覆盖已发布版本
任务中途崩溃snapshot_progress 变化可解释,按水位/版本恢复静默丢行、重复计量、越权或覆盖已发布版本
下游429/503schema_errors 变化可解释,按水位/版本恢复静默丢行、重复计量、越权或覆盖已发布版本
checkpoint损坏delete_lag 变化可解释,按水位/版本恢复静默丢行、重复计量、越权或覆盖已发布版本
质量规则失败backfill_rate 变化可解释,按水位/版本恢复静默丢行、重复计量、越权或覆盖已发布版本
回填与实时并发quality_reject 变化可解释,按水位/版本恢复静默丢行、重复计量、越权或覆盖已发布版本
权限撤销reconciliation_diff 变化可解释,按水位/版本恢复静默丢行、重复计量、越权或覆盖已发布版本
成本超预算pipeline_cost 变化可解释,按水位/版本恢复静默丢行、重复计量、越权或覆盖已发布版本

16. 数据质量与对账 ​

  1. 对每个源表记录快照起止 LSN、流起点和当前确认 LSN,证明 snapshot 与 stream 无 gap、无重叠漏算。
  2. 按 tenant/day 比较源端与目标端存活主键数;append-only 事件表另比较事件 ID 去重前后数量。
  3. 金额和数量使用源端可复算的整数或 decimal 聚合对账,任何非零财务差异阻断发布。
  4. 必填字段按 schema 版本检查;新增列在回填完成前允许的 null 范围必须显式限定到旧版本数据。
  5. 更新表比较每个分片的最大源版本与目标版本,并抽查同一主键的最终字段 hash。
  6. 删除单独统计源 delete、传输 tombstone、目标失效行;删除延迟超过合规窗口立即告警。
  7. CDC freshness 同时报“当前时间减源 commit time”和“最新已处理 LSN”,避免无新写入时误判。
  8. schema 变更先验证主键、类型兼容和默认值;无法解析的事件进入隔离 topic,不能跳过并推进确认位点。
  9. 回填与实时流按主键版本仲裁,检查旧回填不会覆盖更高版本的在线变更。
  10. 每日固定抽样主键,从 OLTP 当前行、变更日志到 OLAP 最终行逐字段核验并保存差异证据。

17. 调试与观测 ​

  1. oltp_p99:明确单位、采样点、聚合窗口和低基数维度,并与run ID、水位和代码版本关联。
  2. olap_scan_bytes:明确单位、采样点、聚合窗口和低基数维度,并与run ID、水位和代码版本关联。
  3. cdc_lag:明确单位、采样点、聚合窗口和低基数维度,并与run ID、水位和代码版本关联。
  4. snapshot_progress:明确单位、采样点、聚合窗口和低基数维度,并与run ID、水位和代码版本关联。
  5. schema_errors:明确单位、采样点、聚合窗口和低基数维度,并与run ID、水位和代码版本关联。
  6. delete_lag:明确单位、采样点、聚合窗口和低基数维度,并与run ID、水位和代码版本关联。
  7. backfill_rate:明确单位、采样点、聚合窗口和低基数维度,并与run ID、水位和代码版本关联。
  8. quality_reject:明确单位、采样点、聚合窗口和低基数维度,并与run ID、水位和代码版本关联。
  9. reconciliation_diff:明确单位、采样点、聚合窗口和低基数维度,并与run ID、水位和代码版本关联。
  10. pipeline_cost:明确单位、采样点、聚合窗口和低基数维度,并与run ID、水位和代码版本关联。

CDC 排障选择一个订单主键和时间区间,依次核对源行版本、WAL/LSN、Debezium envelope、Kafka partition/offset、目标 staging 版本与最终查询行;批 ETL 则从对象 checksum、rejected 清单、发布分区追到报表 SQL。连接器 running 或 DAG success 都不能替代端到端对账。

18. 安全、成本与运维边界 ​

  1. 源凭据最小权限;OLTP、OLAP、ETL、ELT 与 CDC 的实现要提供owner、runbook、停止阈值和审计记录。
  2. PII分层访问和脱敏;OLTP、OLAP、ETL、ELT 与 CDC 的实现要提供owner、runbook、停止阈值和审计记录。
  3. 原始层不可被普通BI任意下载;OLTP、OLAP、ETL、ELT 与 CDC 的实现要提供owner、runbook、停止阈值和审计记录。
  4. 重跑/回填有资源配额;OLTP、OLAP、ETL、ELT 与 CDC 的实现要提供owner、runbook、停止阈值和审计记录。
  5. 流批共享sink有容量仲裁;OLTP、OLAP、ETL、ELT 与 CDC 的实现要提供owner、runbook、停止阈值和审计记录。
  6. 删除请求传播到派生层;OLTP、OLAP、ETL、ELT 与 CDC 的实现要提供owner、runbook、停止阈值和审计记录。
  7. schema发布兼容门禁;OLTP、OLAP、ETL、ELT 与 CDC 的实现要提供owner、runbook、停止阈值和审计记录。
  8. checkpoint/manifest备份;OLTP、OLAP、ETL、ELT 与 CDC 的实现要提供owner、runbook、停止阈值和审计记录。
  9. 灾备恢复演练;OLTP、OLAP、ETL、ELT 与 CDC 的实现要提供owner、runbook、停止阈值和审计记录。
  10. 成本按pipeline/dataset/tenant归集;OLTP、OLAP、ETL、ELT 与 CDC 的实现要提供owner、runbook、停止阈值和审计记录。

19. 综合练习与验收 ​

实现“PostgreSQL到ClickHouse实时订单分析”,再以“批量财务ETL”验证另一类时效/治理约束。提交数据样例、模型、质量测试、故障注入、lineage和成本面板。

  • [ ] OLTP 的定义、应用、失败和验证均能用真实数据复现。
  • [ ] OLAP 的定义、应用、失败和验证均能用真实数据复现。
  • [ ] ETL 的定义、应用、失败和验证均能用真实数据复现。
  • [ ] ELT 的定义、应用、失败和验证均能用真实数据复现。
  • [ ] CDC 的定义、应用、失败和验证均能用真实数据复现。
  • [ ] Snapshot 的定义、应用、失败和验证均能用真实数据复现。
  • [ ] Delete/Tombstone 的定义、应用、失败和验证均能用真实数据复现。
  • [ ] Schema evolution 的定义、应用、失败和验证均能用真实数据复现。
  • [ ] 两个案例包含输入、步骤、输出、验证、失败与重跑。
  • [ ] 源与目标按业务分片完成count/sum/version/hash对账。
  • [ ] 历史发布版本可回退,回填不压垮在线事实系统。

来源 ​

从前端走向软件产品工程的长期路线图。