资源介绍
视频数量：89个
总时长：5小时42分
课程介绍：
精通Airflow：从原理到Snowflake与Databricks编排实战
凌晨两点四十七分，手机屏幕亮了。你点开监控面板，每个任务都打着绿色的对勾。再翻业务报表，三个区域的数据全是零。脚本明明正常退出了，数据怎么会错？
这种场景每个用crontab串数据管道的团队迟早都会遇到。任务B在任务A把文件写完前就开始读取，绿色的退出码只能证明进程没崩，证明不了结果对。任何按固定时钟时间链式跑脚本的团队，离这种状况只差一个跑得慢点的夜晚。
这门课的主角Airflow就是来解决这种问题的。课程时长五个半小时出头，二十一个模块，从"为什么不用Cron"一路讲到"怎么部署一个治理良好的多云数据平台"。配套二十个练习脚本、一个完整的多云capstone项目、每模块的测验。
一、基础认知与本地搭建：
前三个模块帮你把Airflow到底是什么搞清楚。第一个模块从凌晨告警的故事切入，解释DAG是什么、Airflow能做什么又做不了什么。第二个模块深入架构，讲调度器、执行器、API服务器、worker、元数据库各自干什么活儿——Sequential、Local、Celery、Kubernetes几种执行器的区别讲得很透。第三个模块教你怎么本地跑起来：Docker Compose十分钟快速启动、Astronomer的astro CLI、可扩展的项目结构。课程强调dags、plugins、include、requirements四个文件夹的职责，把DAG文件夹比作菜单、include比作储藏室。
二、写出真正能跑的DAG：
第四到第七模块带你动手。从DAG对象、任务依赖关系开始，接着讲BashOperator、PythonOperator、EmptyOperator这些基础算子，以及用TaskGroup分组管理任务。Jinja模板怎么用、什么时候用，都有具体例子，还用一家金融科技公司200个任务的接入DAG做案例研究。第六模块重点讲TaskFlow API——用@dag和@task装饰器写DAG，像写普通Python函数一样简单，XCom自动在Python函数间传递，这也是"每个新DAG都应该从TaskFlow开始"的原因。第七模块讲调度：Cron表达式和预设、数据间隔模型、logical_date、安全做backfill的方法，专门有一节讲"我的backfill一晚上跑了400次"的翻车场景。
三、高级特性与编排能力：
第八到第十二模块是进阶内容。传感器怎么用、为什么传统传感器霸占worker槽位、deferrable operators和Triggerer如何高效等待外部事件，都有"反模式先行"环节展示错误做法。XCom部分提醒不要把DataFrame塞进XCom。动态任务映射让DAG随数据量自动扩展，expand和partial怎么用、怎么对XCom输出做映射、万一映射出一万个任务怎么调试，都有覆盖。分支和触发规则讲了BranchPythonOperator、ShortCircuitOperator、各种trigger rules的区别，还有一个用数据质量签字作为gate的真实案例。第十二模块讲连接、变量、Hooks和密钥管理，明确指出把密钥明文存到变量是反模式。
四、生产整合与监控运维：
第十三模块是核心亮点：怎么用Snowflake Provider操作Snowflake、用Databricks Provider触发Databricks作业、用Cosmos和dbt Fusion编排dbt，还讲了一个"一个DAG同时编排三个平台"的案例。第十四模块讲DAG测试：单元测试、用ruff在CI里校验、集成Great Expectations做数据质量。第十五模块讲失败处理：重试机制、回调、SLAs和Deadline告警的区别，配了"把故障响应从两小时缩短到十分钟"的案例。第十六模块讲监控可观测性：Grid视图、Gantt视图怎么看、日志怎么读、OpenLineage怎么集成。
五、上线部署与长期运维：
第十七模块对比自建Kubernetes、Astronomer、亚马逊MWAA、Google Cloud Composer四种部署方案。第十八模块讲从Airflow 2迁移到Airflow 3：import路径变化、API迁移、自动化迁移工具、"升级后DAG崩了"的排查思路。第十九模块讲CI/CD：GitHub Actions搭流水线、DAG版本控制和灰度发布，明确反对"直接登录生产服务器改DAG"。第二十模块讲性能优化和反模式：DAG解析速度、"一个巨大DAG管全公司"的坏处、Airflow Assets数据感知调度。第二十一模块是capstone项目：构建真实的多云分析流水线，用上TaskFlow、动态映射、各种Provider，做成生产可用状态。
学完你能得到什么？
你会清楚理解Airflow每个组件的职责，能从零搭建可扩展的Airflow项目，能用TaskFlow写出干净的DAG，能用动态映射处理任意规模数据，能在同一个DAG里编排Snowflake、Databricks、dbt，知道怎么测试、监控、处理失败、部署到生产并接入CI/CD。面对凌晨告警你不会再慌，因为你知道去哪找日志、怎么判断是数据问题还是调度问题、怎么用trigger rules和branching设计可靠工作流。
课程适合三类人：刚接触Airflow想系统学的初级数据工程师；用了一段时间但总觉得自己哪里配得不对的工程师，反模式章节能纠正潜意识里的坏习惯；数据平台团队的技术负责人，部署方案对比和capstone项目能帮你规划整体技术栈走向。
五小时四十二分钟，九十个视频，二十个练习脚本，一个完整的多云capstone——这是门可以边学边做的课，不是听完就算的被动式讲座。