收集各类安全设备、Nginx日志实现日志统一管理及告警

来源:FreeBufID:freebuf一、日志收集及告警项目背景近来安全测试项目较少,想着把安全设备、nginx日志收集起来并告警, 话不多说,直接说重点,搭建背景:1. 日志源：安全设备日志(Imperva WAF、绿盟WAF、paloalto防火墙)、nginx日志等；2. 日志分析开源软件：ELK，告警插件：Sentinl 或elastalert，告警方式：钉钉和邮件；3. 安全设备日志->logstash->es，nginx日志由于其他部门已有一份（flume->kafka）我们通过kafka->logstash->es再输出一份，其中logstash的正则过滤规则需要配置正确，不然比较消耗性能，建议写之前使用grokdebug先测试好再放入配置文件；4. 搭建系统:centos 7 , JDK 1.8, Python 2.75. ELK统一版本为5.5.2由于es和kibana的安装都比较简单，就不在下文中说明安装及配置方法了。相关软件的下载链接如 ………………………………