消息队列之 Kafka

Kafka 是 LinkedIn 公司的一款开源 MQ。在没有 Kafka 之前，大部分的业务与业务之间都是通过端对端的连接，错综复杂。试想用一种极为简单的 Pipeline 将这些数据进行一次 Aggregate。将上面产生数据的作为生产者，下面对数据处理的作为消费者，就自然而然的形成了消费者和生产者，中间的 Pipeline 就是一个消息队列。Kafka  在数据库的 Replicate 场景在此构架上面，主要需要保证如下几个方面：message integrity:no message loss in order deliveryexactly oncemessage schema message schema registry message seri/desrperfomance:high throughputlow latencyhandle large messagemessage integrity guaranteesproducer :bathing the messagesend message async 在 Sender Thread 中，从 Record Accumulator 里面的 Message Buffer Poll Message 发送到 Broker 为了 Fail Over，需 ………………………………