Uber开源其Kafka集群监控工具Chaperone

作者｜  Hrishikesh Barua 译者｜  周元昊 近日，Uber工程师团队发布了开源项目Chaperone（中文意为监护人），这是一个Kafka监控工具。在Uber，它被用于监控多个数据中心和大容量Kafka集群中数据丢失、延迟以及重复的问题。Uber现在的Kafka数据管道跨越了多个数据中心。Uber的各个系统会生成大量服务调用和事件的日志信息。这些服务在多个数据仓库间以多活模式运行。通过Uber的Kafka管道的数据被同时用于批处理以及实时数据分析。Kafka作为数据总线，会连接Uber各个系统以及一个称为uReplicator的工具。uReplicator是一个Kafka的复制器，它参照了Kafka用于复制现存集群的MirrorMaker的原理进行设计。当日志消息被推送到Kafka的代理，代理会将消息进行汇总并推送到数据仓库对应的 ………………………………