连Claude 3.5都败下阵来，大语言模型能否定位软件服务的故障根因？

主要观点总结

该论文介绍了大型语言模型（LLM）在软件故障根因分析（RCA）领域的应用与挑战。为了解决LLM在解决OpenRCA问题上的困难，微软DKI团队和香港中文大学（深圳）贺品嘉教授团队共同提出了首个公开的、用于评估LLM在RCA方面能力的基准评估集——OpenRCA。论文已被ICLR 2025接收。

关键观点总结

关键观点1: 研究背景

大型语言模型在软件工程领域的显著进展催生了大量研究成果与实际应用，但现有研究主要聚焦于软件开发生命周期的早期阶段，忽视了软件部署后的运维阶段。线上软件的故障可能导致巨大损失，开发更有效的根因分析解决方案变得迫切。

关键观点2: OpenRCA的提出

为了解决这一问题，微软DKI团队和贺品嘉教授团队提出了OpenRCA基准评估集，为基于LLM的RCA任务制定了清晰的任务建模和对应的评估方法，并提供了一组公开且经过人工对齐的故障记录和大量的运维可观测数据。

关键观点3: 研究内容与方法

论文通过实证研究，发现当前主流的LLM在直接解决OpenRCA问题时面临显著挑战。为解决这个问题，研究者进一步开发了RCA-agent，作为更有效的基线方法。评估基准、评估数据、基线方法和主要实验等都被详细介绍。

关键观点4: 研究结果

研究表明，当前大模型在解决OpenRCA问题上仍面临挑战。基于智能体的方法的能力上限比提示词方法更好，但模型的代码生成和代码纠错能力会大幅影响其在RCA-agent上的表现。

关键观点5: 使用指南与结语

论文提供了使用OpenRCA数据的指南，并讨论了软件工程领域大模型研究的未来方向。本文已被ICLR 2025接收，并展示了实际应用的潜力。