Netflix 开源下一代数据工作流引擎 Maestro

文章预览

作者 | Joab Jackson 译者 | 王强 策划 | Tina Maestro 为 Netflix 的数据科学家与需要大量信息的的业务线经理提供了工作流即服务。 视频和游戏流媒体服务 Netflix 已将自己的工作流编排器开源发布，这家公司的数据科学家和分析师大军每天都会使用它来了解用户行为和其他大规模数据驱动趋势。 这款名为 Maestro 的工作流编排器基于 Apache 2.0 许可证发布。它设计为支持数十万个工作流，并且在 Netflix 已经实现了单日多达 200 万个作业的输出。 Maestro 的工作原理 据 Netflix 工程师介绍，这款编排器具备高度可扩展性和可缩放能力，即使在流量高峰期间也能满足严格的服务级别目标 (SLO)。 Maestro 工作流程图。 它构建于一系列开源技术之上，包括 Git、Java(21)、Gradle 和 Docker。 Maestro 可以从 cURL 命令行调用，提供了创建、运行和删除工作流和相关数据批 ………………………………