OLTP、OLAP、ETL、ELT 与 CDC
OLTP 优化小范围事务读写,OLAP 优化大范围扫描聚合。ETL/ELT 描述变换位置,CDC 捕获已提交变化;这些是工作负载和数据流模式,不是互斥产品标签。
1. 数据流与决策边界
flowchart LR
A["源事实/事件"] --> B["传输与处理"]
B --> C["模型/存储"]
C --> D["查询与指标"]
D --> E["质量、对账与重建"]CDC 必须保留源事务顺序、日志位置、主键、操作类型和行版本,才能把 OLTP 变更可靠地投影到 OLAP。快照与增量的交界、更新/删除语义和 schema 演进都需要可验证;只看到目标表“有数据”不能证明没有缺口或重复。
2. OLTP
机制:短事务、点查、小批写、约束和并发控制。
实际用途:订单、余额、库存事实。
失败方式:在主库跑无界全表BI。
验证:事务p99、锁、WAL、连接。
取舍:强一致写与分析扫描资源冲突。
OLTP 的生产契约还要定义输入schema、业务/事件时间、幂等键、水位、迟到/删除和重跑行为;成功状态必须对应已发布且通过质量门禁的数据。
3. OLAP
机制:列式读取、压缩、向量化和数据跳过。
实际用途:跨亿行group/filter分析。
失败方式:用其替代高并发逐行事务。
验证:scan bytes、rows/s、query p95。
取舍:吞吐高但更新/事务语义不同。
OLAP 的生产契约还要定义输入schema、业务/事件时间、幂等键、水位、迟到/删除和重跑行为;成功状态必须对应已发布且通过质量门禁的数据。
4. ETL
机制:抽取后在进入目标前转换。
实际用途:强清洗、固定仓库模型。
失败方式:黑盒脚本无原始重放。
验证:输入输出行数/hash和版本。
取舍:目标干净但变更需重跑管道。
ETL 的生产契约还要定义输入schema、业务/事件时间、幂等键、水位、迟到/删除和重跑行为;成功状态必须对应已发布且通过质量门禁的数据。
5. ELT
机制:先加载原始/近原始数据,再在目标计算。
实际用途:云仓库/lake保留可重算历史。
失败方式:把未治理原始表直接开放。
验证:分层权限、模型测试和成本。
取舍:灵活但计算/治理转移到目标。
ELT 的生产契约还要定义输入schema、业务/事件时间、幂等键、水位、迟到/删除和重跑行为;成功状态必须对应已发布且通过质量门禁的数据。
6. CDC
机制:读取WAL/binlog变化与事务顺序。
实际用途:低延迟同步、缓存/搜索/OLAP。
失败方式:把CDC事件当完整领域语义。
验证:LSN/offset、snapshot水位、lag。
取舍:覆盖写者但耦合物理schema。
CDC 的生产契约还要定义输入schema、业务/事件时间、幂等键、水位、迟到/删除和重跑行为;成功状态必须对应已发布且通过质量门禁的数据。
7. Snapshot
机制:提供历史基线并与增量衔接。
实际用途:首次加载/重建。
失败方式:snapshot期间直接接当前流量产生缺口。
验证:一致快照位置与count/hash。
取舍:成本高但恢复必需。
Snapshot 的生产契约还要定义输入schema、业务/事件时间、幂等键、水位、迟到/删除和重跑行为;成功状态必须对应已发布且通过质量门禁的数据。
8. Delete/Tombstone
机制:传递源删除和版本。
实际用途:下游不复活数据。
失败方式:忽略delete只做upsert。
验证:源下游删除count和版本。
取舍:隐私/历史保留需分别定义。
Delete/Tombstone 的生产契约还要定义输入schema、业务/事件时间、幂等键、水位、迟到/删除和重跑行为;成功状态必须对应已发布且通过质量门禁的数据。
9. Schema evolution
机制:源列增删/类型变化传播到pipeline。
实际用途:expand-contract和模型版本。
失败方式:自动接受破坏类型导致停流。
验证:兼容检查、DLQ和canary。
取舍:治理增加发布协调。
Schema evolution 的生产契约还要定义输入schema、业务/事件时间、幂等键、水位、迟到/删除和重跑行为;成功状态必须对应已发布且通过质量门禁的数据。
10. Watermark
机制:表示已处理的源位置/事件时间进度。
实际用途:恢复、延迟和窗口完成。
失败方式:只用墙钟推断完整性。
验证:按partition记录并检测gap。
取舍:提供进度但需持久一致。
CDC watermark 应明确它表示已读取、已写入还是已对账的源日志位置,并按源分片持久化。只有该位置之前的更新与删除都已幂等落入目标,才能用它计算复制延迟或作为安全回填边界。
11. Backfill
机制:历史数据按稳定分片重算。
实际用途:修复逻辑和新增指标。
失败方式:与增量双写无水位导致重复漏失。
验证:batch ID、版本、对账、限速。
取舍:可修复但资源和合并复杂。
Backfill 的生产契约还要定义输入schema、业务/事件时间、幂等键、水位、迟到/删除和重跑行为;成功状态必须对应已发布且通过质量门禁的数据。
12. 方案比较
| 方案 | 主要能力 | 边界 |
|---|---|---|
| OLTP行存 | 点查事务 | 大扫描干扰 |
| 列式OLAP | 聚合扫描 | 逐行更新成本 |
| ETL | 目标前转换 | 原始重算能力弱 |
| ELT | 目标内转换 | 成本治理复杂 |
| CDC | 低延迟增量 | 不是完整备份 |
13. 完整案例:PostgreSQL到ClickHouse实时订单分析
输入与约束
订单主库不可被BI拖慢;分析5分钟内可见;删除和金额版本必须正确。
处理步骤
- PostgreSQL事务写事实并保留版本。
- Debezium一致快照记录LSN后读取WAL。
- Kafka按表/订单key传递,schema受控。
- ClickHouse staging幂等写入并用版本模型生成查询表。
- 按tenant/day对账count、sum、max version与delete。
输出
交易主库承担正确性,ClickHouse承担扫描聚合,freshness可量化。
验证
snapshot+stream无gap;乱序最终最高版本;主库BI连接被禁止/限额。
失败分支
把更新当普通append会重复金额;必须保留变更语义并按版本构建事实。
恢复与重跑
从已确认的源 LSN 与消费 offset 恢复,重复变更按订单主键和源版本幂等合并。若 ClickHouse 写入已成功但 offset 未提交,允许重放而不能重复计量;快照重建写入新表并持续追平 WAL,按 count、金额、删除和最大版本对账后再切换查询。
14. 完整案例:批量财务ETL
输入与约束
每日对象存储CSV、金额需精确、错误行不能静默丢,次日8点报表。
处理步骤
- 保存原始对象checksum和manifest。
- 解析到隔离staging,金额用decimal/整数分。
- 质量规则输出accepted/rejected与reason。
- 单batch事务/分区发布curated表。
- 对账文件总额、行数、重复业务键并记录lineage。
输出
每个报表可追溯到输入对象、代码版本和质量结果。
验证
重复运行同batch幂等;坏行有隔离;总额守恒。
失败分支
解析失败后跳过行仍显示job成功会少计;质量阈值和发布门禁必须阻止。
恢复与重跑
同一输入 manifest/checksum 生成稳定 batch ID,解析结果写该批次的隔离分区。失败重跑先清理或覆盖未发布分区,不触碰已审批报表;坏行修正规则产生新 run 与质量报告,总额和行数重新守恒后才原子替换该业务日版本。
15. 失败注入矩阵
| 注入 | 预期信号与恢复 | 禁止结果 |
|---|---|---|
| 重复输入 | oltp_p99 变化可解释,按水位/版本恢复 | 静默丢行、重复计量、越权或覆盖已发布版本 |
| 乱序和迟到 | olap_scan_bytes 变化可解释,按水位/版本恢复 | 静默丢行、重复计量、越权或覆盖已发布版本 |
| 源schema变化 | cdc_lag 变化可解释,按水位/版本恢复 | 静默丢行、重复计量、越权或覆盖已发布版本 |
| 任务中途崩溃 | snapshot_progress 变化可解释,按水位/版本恢复 | 静默丢行、重复计量、越权或覆盖已发布版本 |
| 下游429/503 | schema_errors 变化可解释,按水位/版本恢复 | 静默丢行、重复计量、越权或覆盖已发布版本 |
| checkpoint损坏 | delete_lag 变化可解释,按水位/版本恢复 | 静默丢行、重复计量、越权或覆盖已发布版本 |
| 质量规则失败 | backfill_rate 变化可解释,按水位/版本恢复 | 静默丢行、重复计量、越权或覆盖已发布版本 |
| 回填与实时并发 | quality_reject 变化可解释,按水位/版本恢复 | 静默丢行、重复计量、越权或覆盖已发布版本 |
| 权限撤销 | reconciliation_diff 变化可解释,按水位/版本恢复 | 静默丢行、重复计量、越权或覆盖已发布版本 |
| 成本超预算 | pipeline_cost 变化可解释,按水位/版本恢复 | 静默丢行、重复计量、越权或覆盖已发布版本 |
16. 数据质量与对账
- 对每个源表记录快照起止 LSN、流起点和当前确认 LSN,证明 snapshot 与 stream 无 gap、无重叠漏算。
- 按 tenant/day 比较源端与目标端存活主键数;append-only 事件表另比较事件 ID 去重前后数量。
- 金额和数量使用源端可复算的整数或 decimal 聚合对账,任何非零财务差异阻断发布。
- 必填字段按 schema 版本检查;新增列在回填完成前允许的 null 范围必须显式限定到旧版本数据。
- 更新表比较每个分片的最大源版本与目标版本,并抽查同一主键的最终字段 hash。
- 删除单独统计源 delete、传输 tombstone、目标失效行;删除延迟超过合规窗口立即告警。
- CDC freshness 同时报“当前时间减源 commit time”和“最新已处理 LSN”,避免无新写入时误判。
- schema 变更先验证主键、类型兼容和默认值;无法解析的事件进入隔离 topic,不能跳过并推进确认位点。
- 回填与实时流按主键版本仲裁,检查旧回填不会覆盖更高版本的在线变更。
- 每日固定抽样主键,从 OLTP 当前行、变更日志到 OLAP 最终行逐字段核验并保存差异证据。
17. 调试与观测
oltp_p99:明确单位、采样点、聚合窗口和低基数维度,并与run ID、水位和代码版本关联。olap_scan_bytes:明确单位、采样点、聚合窗口和低基数维度,并与run ID、水位和代码版本关联。cdc_lag:明确单位、采样点、聚合窗口和低基数维度,并与run ID、水位和代码版本关联。snapshot_progress:明确单位、采样点、聚合窗口和低基数维度,并与run ID、水位和代码版本关联。schema_errors:明确单位、采样点、聚合窗口和低基数维度,并与run ID、水位和代码版本关联。delete_lag:明确单位、采样点、聚合窗口和低基数维度,并与run ID、水位和代码版本关联。backfill_rate:明确单位、采样点、聚合窗口和低基数维度,并与run ID、水位和代码版本关联。quality_reject:明确单位、采样点、聚合窗口和低基数维度,并与run ID、水位和代码版本关联。reconciliation_diff:明确单位、采样点、聚合窗口和低基数维度,并与run ID、水位和代码版本关联。pipeline_cost:明确单位、采样点、聚合窗口和低基数维度,并与run ID、水位和代码版本关联。
CDC 排障选择一个订单主键和时间区间,依次核对源行版本、WAL/LSN、Debezium envelope、Kafka partition/offset、目标 staging 版本与最终查询行;批 ETL 则从对象 checksum、rejected 清单、发布分区追到报表 SQL。连接器 running 或 DAG success 都不能替代端到端对账。
18. 安全、成本与运维边界
- 源凭据最小权限;OLTP、OLAP、ETL、ELT 与 CDC 的实现要提供owner、runbook、停止阈值和审计记录。
- PII分层访问和脱敏;OLTP、OLAP、ETL、ELT 与 CDC 的实现要提供owner、runbook、停止阈值和审计记录。
- 原始层不可被普通BI任意下载;OLTP、OLAP、ETL、ELT 与 CDC 的实现要提供owner、runbook、停止阈值和审计记录。
- 重跑/回填有资源配额;OLTP、OLAP、ETL、ELT 与 CDC 的实现要提供owner、runbook、停止阈值和审计记录。
- 流批共享sink有容量仲裁;OLTP、OLAP、ETL、ELT 与 CDC 的实现要提供owner、runbook、停止阈值和审计记录。
- 删除请求传播到派生层;OLTP、OLAP、ETL、ELT 与 CDC 的实现要提供owner、runbook、停止阈值和审计记录。
- schema发布兼容门禁;OLTP、OLAP、ETL、ELT 与 CDC 的实现要提供owner、runbook、停止阈值和审计记录。
- checkpoint/manifest备份;OLTP、OLAP、ETL、ELT 与 CDC 的实现要提供owner、runbook、停止阈值和审计记录。
- 灾备恢复演练;OLTP、OLAP、ETL、ELT 与 CDC 的实现要提供owner、runbook、停止阈值和审计记录。
- 成本按pipeline/dataset/tenant归集;OLTP、OLAP、ETL、ELT 与 CDC 的实现要提供owner、runbook、停止阈值和审计记录。
19. 综合练习与验收
实现“PostgreSQL到ClickHouse实时订单分析”,再以“批量财务ETL”验证另一类时效/治理约束。提交数据样例、模型、质量测试、故障注入、lineage和成本面板。
- [ ] OLTP 的定义、应用、失败和验证均能用真实数据复现。
- [ ] OLAP 的定义、应用、失败和验证均能用真实数据复现。
- [ ] ETL 的定义、应用、失败和验证均能用真实数据复现。
- [ ] ELT 的定义、应用、失败和验证均能用真实数据复现。
- [ ] CDC 的定义、应用、失败和验证均能用真实数据复现。
- [ ] Snapshot 的定义、应用、失败和验证均能用真实数据复现。
- [ ] Delete/Tombstone 的定义、应用、失败和验证均能用真实数据复现。
- [ ] Schema evolution 的定义、应用、失败和验证均能用真实数据复现。
- [ ] 两个案例包含输入、步骤、输出、验证、失败与重跑。
- [ ] 源与目标按业务分片完成count/sum/version/hash对账。
- [ ] 历史发布版本可回退,回填不压垮在线事实系统。
来源
- PostgreSQL 18 logical decoding(访问日期:2026-07-17)
- Debezium PostgreSQL connector(访问日期:2026-07-17)
- ClickHouse architecture(访问日期:2026-07-17)
- Apache Kafka 4.3 documentation(访问日期:2026-07-17)
- dbt docs(访问日期:2026-07-17)