无限天气数据生成！WeatherDG：VLM+扩散模型直接爆拉14个点

主要观点总结

本文介绍了WeatherDG，一种结合Stable Diffusion和大型语言模型（LLM）的方法，用于生成大量逼真、多样化的天气驾驶场景图像。该方法旨在解决自动驾驶语义分割在恶劣天气条件下的领域偏移问题，通过生成的合成数据提高模型的泛化能力。文章首先概述了方法的主要思想和实验成果，然后详细描述了提出的方法、相关工作、实验和结论。

关键观点总结

关键观点1: 方法概述

WeatherDG结合Stable Diffusion和大型语言模型（LLM），通过微调扩散模型和程序化提示生成，生成大量逼真、多样化的天气驾驶场景图像，旨在解决自动驾驶语义分割在恶劣天气条件下的领域偏移问题。

关键观点2: 方法细节

使用源数据对Stable Diffusion模型进行微调，以适应驾驶场景；采用程序化的提示生成方法，利用大型语言模型（LLM）之间的协作生成详细和多样的场景提示；使用生成的图像进行语义分割模型的训练，采用UDA训练方法来提高模型的泛化能力。

关键观点3: 实验成果

实验结果表明，WeatherDG能够显著提高不同最先进方法的性能，特别是在“Cityscapes到ACDC”的实验设置中，使基线模型HRDA的mIoU提高了13.9%。

关键观点4: 其他亮点

文章还介绍了相关工作，如领域泛化语义分割（DGSS）、无监督领域自适应（UDA）和基于文本的图像生成；此外，还提供了可视化的图片生成结果和详细的实验设置。