专栏名称: InfoQ
有内容的技术社区媒体。
今天看啥  ›  专栏  ›  InfoQ

基于 Kafka 和 ElasticSearch,LinkedIn是如何构建实时日志分析系统的?

InfoQ  · 公众号  · 科技媒体  · 2017-01-09 08:40
作者|李虓 编辑|祥南、小智 及时有效地搜索日志是 SRE  (Site Reliability Engineer) 日常工作的重要内容。LinkedIn 从使用 Splunk 到建立基于 ES 和 kafka 的日志分发、索引系统,为 SRE 提供了近似实时的搜索平台来检索超过 400 多个子系统的日志。在本文中,来自LinkedIn的李虓将和大家分享这套系统从无到有的一些技术架构经验。 本文整理自李虓在QCon上海2016的演讲,原题为:《LinkedIn 基于 Kafka 和 ElasticSearch 的实时日志分析系统》。回复关键词「领英」,下载完整版PPT。 写在前面 今天,和跟大家分享我们在用ElasticSearch和Kafka做日志分析的时候遇到的问题,系统怎么样一步一步演变成现在这个版本。你如果想拿ElasticSearch和Kafka来做日志分析的话,会有一些启发。全 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照