Logreduce：用 Python 和机器学习去除日志噪音 | Linux 中国

Logreduce 可以通过从大量日志数据中挑选出异常来节省调试时间。-- Tristan De Cacqueray持续集成（CI）作业会生成大量数据。当一个作业失败时，弄清楚出了什么问题可能是一个繁琐的过程，它涉及到调查日志以发现根本原因 —— 这通常只能在全部的作业输出的一小部分中找到。为了更容易地将最相关的数据与其余数据分开，可以使用先前成功运行的作业结果来训练 Logreduce 机器学习模型，以从失败的运行日志中提取异常。此方法也可以应用于其他用例，例如，从 Journald 或其他系统级的常规日志文件中提取异常。使用机器学习来降低噪音典型的日志文件包含许多标称事件（“基线”）以及与开发人员相关的一些例外事件。基线可能包含随机元素，例如难以检测和删除的 ………………………………