基于Elasticsearch构建千亿流量日志搜索平台实战

文章预览

Elasticsearch 常用于日志搜索服务的基础技术栈，七牛云在基于 ES 构建日志搜索云服务的时候，碰到不少问题，也总结了很多经验，本文是对这些解决方案的总结。 6 月 11 日下午，在饿了么 & 七牛云联合论坛——大数据最新场景化应用实践中，王拓带来了 Elasticsearch 为主题的实战分享，本文是对演讲内容的整理。 作者简介： 王拓，七牛云大数据高级工程师，硕士毕业于中国科学技术大学，曾就职于 PPTV 的广告团队，主要从事视频广告系统、ad exchange 交易平台、dsp 系统的设计和开发工作。于 2016 年加入七牛云，主要负责日志搜索云服务 logdb 的架构和开发工作。目前 logdb 承载公司每天近千亿、近百 TB 数据的日志增量。 今天的分享会从五个方向展开：一，背景；二 ………………………………