专栏名称: 51CTO技术栈
有趣 | 有料 | 有内涵,为您提供最优质的内容,愿我们一起悦享技术,成就人生。
今天看啥  ›  专栏  ›  51CTO技术栈

为什么我们要从ES迁移到ClickHouse?

51CTO技术栈  · 公众号  · 程序员  · 2020-10-12 18:05
“ ElasticSearch 是一种基于 Lucene 的分布式全文搜索引擎,携程用 ES 处理日志,目前服务器规模 500+,日均日志接入量大约 200TB。图片来自 Pexels随着日志量不断增加,一些问题逐渐暴露出来:一方面 ES 服务器越来越多,投入的成本越来越高。另一方面用户的满意度不高,日志写入延迟、查询慢甚至查不出来的问题一直困扰着用户。而从运维人员的角度看,ES 的运维成本较高,运维的压力越来越大。为什么选择 ClickHouseClickHouse 是一款高性能列式分布式数据库管理系统,我们对 ClickHouse 进行了测试,发现有下列优势:①ClickHouse 写入吞吐量大,单服务器日志写入量在 50MB 到 200MB/s,每秒写入超过 60w 记录数,是 ES 的 5 倍以上。②在 ES 中比较常见的写 Rejected 导致数据丢失、写 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照