Kafka 2.1.0压缩算法性能测试

    Apache Kafka 2.1.0正式支持ZStandard —— ZStandard是Facebook开源的压缩算法，旨在提供超高的压缩比(compression ratio)，具体细节参见https://facebook.github.io/zstd/。本文对Kafka支持的这几种压缩算法(GZIP、Snappy、LZ4、ZStandard)做了一下基本的性能测试，希望能够以不同维度去衡量不同压缩算法在Kafka中的表现。一、环境准备    本次测试使用了两台云主机，一台作为Kafka的服务器，跑broker进程；另一台作为client，运行Kafka的客户端程序(producer和consumer)，具体配置如下：软件配置如下： 二、测试topic准备    依次创建4个topic：test1、test2、test3、test4，分别用于LZ4、ZStandard、Snappy和GZIP的测试，这些topic都是单分区单副本。三、测试producer端    使用kafka-producer-perf-test.sh脚本依次为4个 ………………………………