没看过这篇文章，别说你会用Airflow

作者 | 董娜Airflow 作为一款开源分布式任务调度框架，已经在业内广泛应用。本文总结了 Freewheel Transformer 团队近两年使用 Airflow 作为调度器，编排各种批处理场景下 ETL Data Pipelines 的经验，希望能为正在探索 Airflow 的技术团队提供一些参考价值。为什么选择 Airflow？FreeWheel 的批数据处理使用场景主要分成两种，一种是固定时间调度的 ETL pipelines ， 比如 hourly、daily、weekly 等 pipelines，用于日常数据建仓；另一种是没有固定调度时间的修数据 pipelines 。ETL pipelines基于业务的不同使用场景，有很多流程不同的 ETL pipelines。这些 pipelines 可以设置不同的 schedule mode：hourly、daily、weekly 等。各种 pipelines 协同工作可以满足数据业务方不同粒度的数据建仓需求。修数据 pipelines无论是系 ………………………………