Airflow：Python 工作流管理利器

文章预览

点击上方“ 程序员大咖 ”，选择“置顶公众号” 关键时刻，第一时间送达！ Apache Airflow 是一个用于编排复杂计算工作流和数据处理流水线的开源工具。 如果您发现自己运行的是执行时间超长的 cron 脚本任务，或者是大数据的批处理任务，Airflow 可能是能帮助您解决目前困境的神器。本文将为那些想要寻找新的工具或者说不知道有这款工具的同学了解 Airflow 编写工作线提供入门教程。 Airflow 工作流设计称为有向非循环图（DAG）。这意味着，在编写工作流时，您应该考虑如何将你的任务划分为多个可独立执行的任务，然后，将这些任务合并为一个逻辑整体，将其组合成一个图，从而实现我们的工作流结果，例如： 图的形状决定了你工作流的整体逻辑。 Airflow DAG ………………………………