Netflow 与 DNS 数据流的大规模关联

主要观点总结

本文主要介绍了将Netflow和DNS数据结合处理的工作设计。文章讨论了如何将DNS数据拆分并分发，设计了三级Hashmap结构来存储DNS记录，并阐述了DNS数据处理和Netflow数据处理的流程。此外，文章还涉及了在实际ISP环境下的工作准备和工作评估，包括数据流量、服务器设备等相关内容。最后，文章还提到了关于垃圾邮件域名、无效域名等问题的思考。

关键观点总结

关键观点1: 结合Netflow和DNS数据的重要性

单独看Netflow或DNS数据无法全面了解服务或流量情况，二者的结合能够提供更为完整的信息。

关键观点2: 工作设计的核心思想

将DNS数据拆分并分发到不同的分片，利用三级Hashmap结构存储DNS记录，并根据TTL值进行数据的清除和转移。

关键观点3: 数据处理流程

先检查是否是有效的DNS响应数据，然后存入相应的数据结构。Netflow数据处理流程与DNS数据类似，主要区别在于在Hashmap中查找IP与域名的对应关系。

关键观点4: 实际测试与评估

测试显示设计提高了关联率或降低了资源使用率。大型ISP场景下使用25核、15-30GB内存，小型ISP场景下使用3核、6GB内存。约有81.7%的流量可以关联上，而DNS数据的覆盖率约为95%。

关键观点5: 其他发现与思考

文章还提到了垃圾邮件域名、无效域名等问题，并给出了相应的处理思路和统计数据。

免责声明