多模态BUG修复新SOTA：慕尼黑工大GUIRepair登上SWE-bench Multimodal...

主要观点总结

本文介绍了自动化修复真实世界软件缺陷的目标以及视觉软件缺陷修复的挑战。慕尼黑工业大学Software Engineering & AI团队带来最新研究成果GUIRepair，成功登顶SWE-bench Multimodal排行榜第一名，为多模态软件自动修复开辟了新的道路。研究动机旨在利用跨模态推理解决视觉软件问题，将图像转化为可执行的代码上下文，并验证修复后的代码行为。实验结果显示GUIRepair在解决多模态问题上具有优越性能。

关键观点总结

关键观点1: 自动化修复真实世界软件缺陷的重要性及视觉软件缺陷修复的挑战。

自动化程序修复（APR）是软件工程领域的重要方向，旨在利用智能技术为开发者定位并修复bug。然而，视觉软件缺陷修复是一个尚未充分探索的领域，如何有效解决这类多模态问题对现有修复系统提出了关键挑战。

关键观点2: GUIRepair研究成果及其实验结果。

慕尼黑工业大学Softw a re Engineering & AI团队提出了GUIRepair，一个跨模态自动修复框架，旨在解决多模态修复场景。该框架由两个互补的跨模态组件构成：Image2Code和Code2Image。实验结果显示，GUIRepair在使用GPT-4o作为基座模型时，成功解决了30.37%的任务实例，超越了现有的开源和商业修复系统。当使用更强的o3模型时，GUIRepair的修复成绩更是达到了35.98%，登顶SWE-bench Multimodal排行榜第一名。

关键观点3: GUIRepair的研究动机和跨模态推理方法。

研究动机在于解决现有APR系统对视觉软件问题的关注不足，以及GUI Testing社区对自动修复bug的忽视。GUIRepair采用跨模态推理方法，将图像转化为可执行的代码上下文，并从图像中反推出代码行为。同时，它将补丁的代码行为重新渲染为视觉输出，以提供修复行为的视觉化反馈。

关键观点4: 团队介绍和研究贡献。

慕尼黑工业大学TUM的Software Engineering & AI团队致力于软件工程、深度学习与人机交互等方向的前沿研究。GUIRepair的贡献不仅在于排行榜上的成绩，更在于它打开了一条新的研究方向，将视觉理解与自动修复能力相结合，为自动化多模态软件工程进入新时代奠定了基础。