从 ClickHouse 到 Apache Doris：在网易云音乐日增万亿日志数据场景下的落地

文章预览

作者｜网易数据开发专家 赵荣生 日志数据已成为企业洞察系统状态、监控网络安全及分析业务动态的宝贵资源。网易云音乐引入 Apache Doris 作为日志库新方案，替换了 ClickHouse。目前已经稳定运行 3 个季度，规模达到 50 台服务器，2PB 数据，每天新增日志量超过万亿条，峰值写入吞吐 6GB/s 。 网易云音乐每天都会产生大量用户行为数据、业务数据及日志数据，这些数据在异常行为跟踪、客诉问题定位、运行状态监控、性能优化等方面扮演守护者的角色。面对每日万亿级别数据的增量，网易云音乐早期的日志库以 ClickHouse 为核心构建，但面临运维成本高、并发查询能力不足、写入性能不稳定、使用费用高昂等问题，在新需求的满足上稍显吃力。 为寻找更优质解决方案，结合当前的业务需求，网易云音乐引入 Apache Doris 作为日志库新方案，替换了 Cli ………………………………