data-engineer-handbook：一份非书单的 2026 数据工程资源地图

先给判断：data-engineer-handbook 不是一本书，也不是一门课。它是一份 2026 年仍在被维护的资源地图——按"想成为数据工程师需要什么"这条主轴，把书、社区、工具、白皮书和社交媒体账号归拢起来。本文只做一件事：把它当成一张目录，告诉你每个抽屉里放的什么、什么时候去翻。

1. 仓库身份与读者定位

• 定位：仓库自述为 “This repo has all the resources you need to become an amazing data engineer!"。
• 规模：43k★ / 8.9k forks，主要语言被标记为 Jupyter Notebook（README 中包含的训练营笔记本和可视化），但实质是一个 Markdown 资源索引。
• 节奏：2026 年 8 月初仍有新提交（README 及 databricks-ai-bootcamp/ 均在持续更新），维护活跃度并不只是"旧仓库刷星”。
• License：仓库本身未声明 License（README 仅注明引用第三方资源），写作前需要确认每个被引用资源的 License 兼容性。

适合把它当入口的读者：

• 刚毕业或转行做数据工程的工程师，需要一份"接下来 6 个月学什么"的优先级表。
• 自学数据栈（Airflow / dbt / Snowflake / Iceberg）的开发者，需要知道同主题里还有哪些工具值得比较。
• 准备数据工程师面试的人，仓库里有专门的 interviews.md。

不适合的读者：

• 只想找一个具体技术问题的答案（这种场景直接搜官方文档更快）。
• 已经在生产环境深耕某一个子领域（编排、数据湖、OLAP 等），本文不会带给你新东西。

2. README 的目录结构拆解

README 把资源切成 7 类，每一类都对应到 *.md 文件：

每条 README 链接都指向上面 7 类之一或外部训练营。

3. 能力域切分（按 README 公司清单的反向归类）

把"Companies"段里 120+ 个工具按数据工程师日常工作流重排，可以得到 11 个能力域：

采集 (Ingestion)        → Fivetran / Airbyte / dlt / Sling / Meltano
编排 (Orchestration)    → Airflow / Dagster / Prefect / Mage / Kestra / Hamilton
存储 (Storage)          → Data Lake(Delta/Iceberg/Polaris) / Warehouse(Snowflake/Firebolt)
转换 (Transformation)   → dbt / Coalesce / Great Expectations / Soda / DQOps / Metaplane
语义层 (Semantic Layer) → dbt Semantic Layer / Cube
OLAP 与查询              → ClickHouse / Druid / Pinot / DuckDB / StarRocks / QuestDB
可视化                   → Superset / Metabase / Tableau / Power BI / Looker / Evidence
数据集成                 → Cube / Fivetran / dlt / Sling / Meltano
实时数据                 → RisingWave / Striim / Aggregations.io / Responsive
血缘                     → OpenLineage
LLM 应用库              → LangChain / LlamaIndex / AdalFlow

读完这张表，再回头看仓库里的工具列表，能更快判断哪些是同位替代（OLAP 这一格你能在 ClickHouse / DuckDB / StarRocks 里选一个），哪些是上下游关系（采集 → 编排 → 转换 → 仓库）。

4. 训练营：从零到上手的入口

仓库把训练营拆成 3 个时间窗：

• beginner-bootcamp/（4 周）：导论 + 软件清单。给零基础人群。
• intermediate-bootcamp/（6 周）：导论 + 软件清单。给已经写过 SQL / Python 的人。
• databricks-ai-bootcamp/：Databricks 平台专项，2026-08-03 启动报名，README 里直接给了免费注册入口。

三个训练营的 introduction.md 与 software.md 是 README 里指向的本地文件，意味着你读完 README 后还要再切到对应子目录读具体内容。

5. 三本必读书与白皮书清单

README 列了 25+ 本书的清单，但给了 3 本"必读三件套"：

1. Fundamentals of Data Engineering（Joe Reis & Matt Housley）——体系入门。
2. Designing Data-Intensive Applications（Martin Kleppmann）——分布式数据系统圣经。
3. Designing Machine Learning Systems（Chip Huyen）——MLOps 视角补充。

白皮书段给了 10+ 篇关键论文/报告，包括 Lakehouse 原始论文（CIDR 2021）、Google File System、MapReduce、Tidy Data 等。所有引用都给出了 arXiv 或 dl.acm.org 链接，方便溯源。

6. 真正能用上的 3 个用法

• 新人入门：从 beginner-bootcamp/introduction.md 起步，4 周训练营 + 必读三件套。半年后切到 intermediate-bootcamp/。
• 面试准备：直接读 interviews.md + projects.md 跑 2–3 个端到端项目，配合 YouTube 列表里的 Seattle Data Guy / Data with Zach / ByteByteGo。
• 横向选型：用"能力域切分"那张表挑你需要解决的具体问题（如"实时数据 + 编排"），再到 README 对应段找替代品。

7. 边界与适用边界

• 不是技术手册：所有工具链接都指向官网与仓库，不附带评测或踩坑记录。
• 不是中立目录：DataExpert.io 与 boot camp 都有商业属性，训练营推荐存在自然倾斜（Databricks 训练营就被显式置顶）。
• 不覆盖合规与隐私：GDPR / HIPAA / 国内数据出境法不在 README 范围内。

8. 入口

仓库：https://github.com/DataExpert-io/data-engineer-handbook
目录：
  - README.md
  - books.md / communities.md / interviews.md / newsletters.md / projects.md
  - beginner-bootcamp/ / intermediate-bootcamp/ / databricks-ai-bootcamp/

把这份地图作为"该学什么的清单"使用比当作"该读什么的书单"更准确——它的价值是覆盖面与节奏感，不是单点深度。