Skip to content

ClickHouse、dbt、Airflow、Kafka、Flink 与 Spark 的定位 ​

数据工具应按责任选择:Kafka负责持久事件日志,Flink/Spark处理数据,ClickHouse服务分析查询,dbt管理SQL变换,Airflow编排有界任务。产品能力会扩展,但责任边界不能因为“也能做”而消失。

1. 数据流与决策边界 ​

mermaid
flowchart LR
 A["源事实/事件"] --> B["传输与处理"]
 B --> C["模型/存储"]
 C --> D["查询与指标"]
 D --> E["质量、对账与重建"]

这些工具解决的是不同责任:Kafka 保存可回放事件,Flink 维护有状态流计算,Spark 执行大规模批处理,Airflow 编排有界任务,dbt 管理 SQL 模型与测试,ClickHouse 服务分析查询。可靠链路需要明确每段输入/输出契约和唯一权威状态,不能靠堆叠工具获得端到端一致性。

2. ClickHouse ​

机制:列式OLAP、MergeTree、向量化和数据跳过。

实际用途:实时分析、日志和大聚合。

失败方式:承担账户事务/逐行强约束。

验证:scan、merge、parts和query p99。

取舍:查询快但写模型和运维不同。

ClickHouse 的生产契约还要定义输入schema、业务/事件时间、幂等键、水位、迟到/删除和重跑行为;成功状态必须对应已发布且通过质量门禁的数据。

3. dbt ​

机制:编译SQL模型、依赖图、测试、文档和增量构建。

实际用途:仓库内ELT和语义治理。

失败方式:充当通用流处理/传文件。

验证:manifest、run results、tests。

取舍:SQL工程化但依赖目标仓库。

dbt 的生产契约还要定义输入schema、业务/事件时间、幂等键、水位、迟到/删除和重跑行为;成功状态必须对应已发布且通过质量门禁的数据。

4. Airflow ​

机制:DAG调度有界任务、重试和依赖。

实际用途:批处理、回填、跨系统编排。

失败方式:每条实时事件或长期业务事务。

验证:scheduler lag、task SLA和idempotence。

取舍:可观察编排但不是数据传输层。

Airflow 的生产契约还要定义输入schema、业务/事件时间、幂等键、水位、迟到/删除和重跑行为;成功状态必须对应已发布且通过质量门禁的数据。

5. Kafka ​

机制:分区持久日志、consumer groups和保留。

实际用途:事件骨干、CDC缓冲、重放。

失败方式:任意优先级任务/长期对象存储。

验证:partition lag、ISR、disk。

取舍:高吞吐但schema与consumer治理。

Kafka 的生产契约还要定义输入schema、业务/事件时间、幂等键、水位、迟到/删除和重跑行为;成功状态必须对应已发布且通过质量门禁的数据。

机制:有状态流处理、event time、watermark、checkpoint。

实际用途:低延迟窗口、join、实时规则。

失败方式:简单日报也强行常驻集群。

验证:checkpoint、backpressure、late events。

取舍:强流语义但运维/状态复杂。

Flink 的生产契约还要定义输入schema、业务/事件时间、幂等键、水位、迟到/删除和重跑行为;成功状态必须对应已发布且通过质量门禁的数据。

7. Spark ​

机制:批处理与Structured Streaming统一计算API。

实际用途:大规模ETL、ML、微批/流。

失败方式:低延迟单行事务服务。

验证:stage/shuffle/state/stream progress。

取舍:生态广但启动/资源成本。

Spark 的生产契约还要定义输入schema、业务/事件时间、幂等键、水位、迟到/删除和重跑行为;成功状态必须对应已发布且通过质量门禁的数据。

8. Connector ​

机制:在系统间搬运并维护offset/schema。

实际用途:标准source/sink。

失败方式:把业务补偿隐藏在connector。

验证:offset、DLQ、version和exact语义。

取舍:减少代码但专属保证需核验。

Connector 的生产契约还要定义输入schema、业务/事件时间、幂等键、水位、迟到/删除和重跑行为;成功状态必须对应已发布且通过质量门禁的数据。

9. Orchestration ​

机制:控制任务何时/依赖/重试。

实际用途:Airflow调dbt/Spark/质量检查。

失败方式:作为高频事件数据面。

验证:DAG run、SLA、backfill。

取舍:控制面清楚但跨系统原子不存在。

Orchestration 的生产契约还要定义输入schema、业务/事件时间、幂等键、水位、迟到/删除和重跑行为;成功状态必须对应已发布且通过质量门禁的数据。

10. Transformation ​

机制:把原始数据转换为可用模型。

实际用途:dbt SQL、Flink/Spark代码。

失败方式:无版本无测试脚本。

验证:code/version/input/output lineage。

取舍:灵活但质量需门禁。

Transformation 的生产契约还要定义输入schema、业务/事件时间、幂等键、水位、迟到/删除和重跑行为;成功状态必须对应已发布且通过质量门禁的数据。

11. Serving ​

机制:为用户/BI提供受控查询。

实际用途:ClickHouse/warehouse/semantic layer。

失败方式:直接暴露raw lake/Kafka。

验证:权限、并发、成本、freshness。

取舍:优化消费但复制数据。

Serving 的生产契约还要定义输入schema、业务/事件时间、幂等键、水位、迟到/删除和重跑行为;成功状态必须对应已发布且通过质量门禁的数据。

12. 方案比较 ​

方案主要能力边界
Kafka传输/保留不做任意BI
Flink低延迟有状态流长期状态运维
Spark大批/统一计算交互延迟较高
dbt仓库SQL模型不搬运实时事件
Airflow编排不是队列
ClickHouseOLAP serving不是OLTP事实

13. 完整案例:实时产品指标平台 ​

输入与约束 ​

事件10万/s,5分钟看板,保留一年,每日财务校正。

处理步骤 ​

  1. Kafka作为短期事件日志与回放缓冲。
  2. Flink按event time去重/窗口,checkpoint到可靠存储。
  3. 对象湖保存原始Parquet供重放。
  4. ClickHouse接实时聚合和明细服务看板。
  5. Airflow每天编排dbt/Spark批次对账并发布修正。

输出 ​

流路径低延迟,批路径校正,事实和水位可追踪。

验证 ​

停止Flink从checkpoint恢复;重放不重复;实时与日批差异受阈值控制。

失败分支 ​

只在Flink保留一年状态会放大恢复和成本;原始历史进入对象存储。

恢复与重跑 ​

Flink 从已完成 checkpoint 恢复 Kafka offsets 和算子状态,ClickHouse sink 以事件/窗口版本幂等。checkpoint 不可用时从对象湖选定时间范围重放到隔离表,Airflow 编排批对账;实时表与日批在固定水位比较通过后,才发布校正版本,避免两个写入者互相覆盖。

14. 完整案例:月度财务关账 ​

输入与约束 ​

多源文件/数据库,必须可重跑、审批和锁定版本,不要求秒级。

处理步骤 ​

  1. Airflow以业务月/batch ID编排抽取与质量门禁。
  2. Spark处理大文件标准化。
  3. dbt构建仓库事实维度和测试。
  4. ClickHouse可作交互分析副本但财务发布表有明确权威。
  5. 审批后发布immutable close version并记录lineage。

输出 ​

每月版本可追溯、重跑不覆盖已审批结果。

验证 ​

同batch重跑幂等;输入checksum/代码版本/测试结果完整。

失败分支 ​

使用实时流结果直接关账且无截止/修正会让数字持续变化;关账需有界版本。

恢复与重跑 ​

Airflow 以业务月和输入 manifest 生成稳定关账 run,Spark/dbt 重跑写候选 schema。任何测试或审批失败都保留上一 close version;修复 run 重新执行受影响依赖并产生新的 lineage/测试证据,财务 owner 批准后才更新 current-close 指针,已批准版本保持不可变。

15. 失败注入矩阵 ​

注入预期信号与恢复禁止结果
重复输入kafka_lag 变化可解释,按水位/版本恢复静默丢行、重复计量、越权或覆盖已发布版本
乱序和迟到flink_checkpoint 变化可解释,按水位/版本恢复静默丢行、重复计量、越权或覆盖已发布版本
源schema变化flink_backpressure 变化可解释,按水位/版本恢复静默丢行、重复计量、越权或覆盖已发布版本
任务中途崩溃spark_shuffle 变化可解释,按水位/版本恢复静默丢行、重复计量、越权或覆盖已发布版本
下游429/503airflow_scheduler_lag 变化可解释,按水位/版本恢复静默丢行、重复计量、越权或覆盖已发布版本
checkpoint损坏dbt_test_fail 变化可解释,按水位/版本恢复静默丢行、重复计量、越权或覆盖已发布版本
质量规则失败clickhouse_merge 变化可解释,按水位/版本恢复静默丢行、重复计量、越权或覆盖已发布版本
回填与实时并发serving_p95 变化可解释,按水位/版本恢复静默丢行、重复计量、越权或覆盖已发布版本
权限撤销lineage_coverage 变化可解释,按水位/版本恢复静默丢行、重复计量、越权或覆盖已发布版本
成本超预算cost_per_pipeline 变化可解释,按水位/版本恢复静默丢行、重复计量、越权或覆盖已发布版本

16. 数据质量与对账 ​

  1. Kafka topic 记录生产/消费 schema、partition key 和 retention,验证重放窗口覆盖最大可恢复时长。
  2. Flink checkpoint 检查完成率、持续时间、对齐/非对齐模式和状态大小;失败不得推进外部发布水位。
  3. 流 sink 的 exactly-once 或幂等条件用故障注入验证,不能从框架配置名称推断端到端语义。
  4. Spark 输入输出按分区统计行数、业务键和金额,shuffle 倾斜导致的 task retry 不得制造重复文件。
  5. Airflow DAG 的 data interval、logical date 和重跑参数一致;补数不能误读“当前日期”。
  6. dbt source freshness、唯一性、引用和业务测试在候选 schema 运行,失败阻断下游发布任务。
  7. ClickHouse 检查写入版本、后台 merge backlog、分区数和查询扫描量,表引擎语义需匹配更新模型。
  8. 每个跨工具交接保存 topic offset、object manifest、table snapshot 或 close version,形成可复现边界。
  9. 实时结果与批校正按相同 metric version 和截止水位对账,不比较仍在变化的开放窗口。
  10. 端到端演练 Kafka 重放、Flink 恢复、Spark 补数、dbt 失败和 ClickHouse 回滚,记录每步恢复时限。

17. 调试与观测 ​

  1. kafka_lag:明确单位、采样点、聚合窗口和低基数维度,并与run ID、水位和代码版本关联。
  2. flink_checkpoint:明确单位、采样点、聚合窗口和低基数维度,并与run ID、水位和代码版本关联。
  3. flink_backpressure:明确单位、采样点、聚合窗口和低基数维度,并与run ID、水位和代码版本关联。
  4. spark_shuffle:明确单位、采样点、聚合窗口和低基数维度,并与run ID、水位和代码版本关联。
  5. airflow_scheduler_lag:明确单位、采样点、聚合窗口和低基数维度,并与run ID、水位和代码版本关联。
  6. dbt_test_fail:明确单位、采样点、聚合窗口和低基数维度,并与run ID、水位和代码版本关联。
  7. clickhouse_merge:明确单位、采样点、聚合窗口和低基数维度,并与run ID、水位和代码版本关联。
  8. serving_p95:明确单位、采样点、聚合窗口和低基数维度,并与run ID、水位和代码版本关联。
  9. lineage_coverage:明确单位、采样点、聚合窗口和低基数维度,并与run ID、水位和代码版本关联。
  10. cost_per_pipeline:明确单位、采样点、聚合窗口和低基数维度,并与run ID、水位和代码版本关联。

按失败边界选择证据:Kafka 查 partition/offset,Flink 查 checkpoint 与 backpressure,Spark 查 stage/shuffle 和输出 manifest,Airflow 查 data interval 与 task instance,dbt 查 compiled SQL/test,ClickHouse 查 part/merge/query log。最后用同一事件 ID 或关账业务键串起各工具,避免把下游错误归因给最显眼的组件。

18. 安全、成本与运维边界 ​

  1. 源凭据最小权限;ClickHouse、dbt、Airflow、Kafka、Flink 与 Spark 的定位 的实现要提供owner、runbook、停止阈值和审计记录。
  2. PII分层访问和脱敏;ClickHouse、dbt、Airflow、Kafka、Flink 与 Spark 的定位 的实现要提供owner、runbook、停止阈值和审计记录。
  3. 原始层不可被普通BI任意下载;ClickHouse、dbt、Airflow、Kafka、Flink 与 Spark 的定位 的实现要提供owner、runbook、停止阈值和审计记录。
  4. 重跑/回填有资源配额;ClickHouse、dbt、Airflow、Kafka、Flink 与 Spark 的定位 的实现要提供owner、runbook、停止阈值和审计记录。
  5. 流批共享sink有容量仲裁;ClickHouse、dbt、Airflow、Kafka、Flink 与 Spark 的定位 的实现要提供owner、runbook、停止阈值和审计记录。
  6. 删除请求传播到派生层;ClickHouse、dbt、Airflow、Kafka、Flink 与 Spark 的定位 的实现要提供owner、runbook、停止阈值和审计记录。
  7. schema发布兼容门禁;ClickHouse、dbt、Airflow、Kafka、Flink 与 Spark 的定位 的实现要提供owner、runbook、停止阈值和审计记录。
  8. checkpoint/manifest备份;ClickHouse、dbt、Airflow、Kafka、Flink 与 Spark 的定位 的实现要提供owner、runbook、停止阈值和审计记录。
  9. 灾备恢复演练;ClickHouse、dbt、Airflow、Kafka、Flink 与 Spark 的定位 的实现要提供owner、runbook、停止阈值和审计记录。
  10. 成本按pipeline/dataset/tenant归集;ClickHouse、dbt、Airflow、Kafka、Flink 与 Spark 的定位 的实现要提供owner、runbook、停止阈值和审计记录。

19. 综合练习与验收 ​

实现“实时产品指标平台”,再以“月度财务关账”验证另一类时效/治理约束。提交数据样例、模型、质量测试、故障注入、lineage和成本面板。

  • [ ] ClickHouse 的定义、应用、失败和验证均能用真实数据复现。
  • [ ] dbt 的定义、应用、失败和验证均能用真实数据复现。
  • [ ] Airflow 的定义、应用、失败和验证均能用真实数据复现。
  • [ ] Kafka 的定义、应用、失败和验证均能用真实数据复现。
  • [ ] Flink 的定义、应用、失败和验证均能用真实数据复现。
  • [ ] Spark 的定义、应用、失败和验证均能用真实数据复现。
  • [ ] Connector 的定义、应用、失败和验证均能用真实数据复现。
  • [ ] Orchestration 的定义、应用、失败和验证均能用真实数据复现。
  • [ ] 两个案例包含输入、步骤、输出、验证、失败与重跑。
  • [ ] 源与目标按业务分片完成count/sum/version/hash对账。
  • [ ] 历史发布版本可回退,回填不压垮在线事实系统。

来源 ​

从前端走向软件产品工程的长期路线图。