港大、哈工大、浙大发布可解耦创意3D模型

主要观点总结

本文介绍了一个关注AIGC领域的专业社区，并详细描述了3D生成模型的发展状况。针对现有3D生成模型缺乏零件级控制的问题，OmniPart模型被推出。OmniPart采用两阶段生成框架，通过自回归模型和灵活的2D部件掩码规划3D部件的空间布局，并在空间条件下高效生成各个部件的高质量3D表示。该模型在结构规划、部件生成、损失函数设计等方面具有独特优势。

关键观点总结

关键观点1: 关注AIGC领域的专业社区。

这个社区关注微软、百度文心一言、讯飞星火等大语言模型（LLM）的发展和应用的落地，以及LLM的市场研究和AIGC开发者生态。

关键观点2: 现有3D生成模型的缺陷。

当前主流的3D生成模型如DreamFusion、TRELLIS等虽然能创建逼真的整体形状，但缺乏零件级控制，无法修改或调整细节部分。

关键观点3: OmniPart模型的特点和优势。

OmniPart模型采用两阶段生成框架，通过自回归模型和灵活的2D部件掩码进行部件级别的规划和控制。该模型能实现部件的独立性和整体合理性，生成具有明确部件结构的3D模型。

关键观点4: OmniPart模型的工作流程。

OmniPart分为两个阶段：第一阶段是通过自回归模型和灵活的2D部件掩码规划出3D部件的空间布局；第二阶段是利用空间条件下的部件合成模块，基于预训练的整体3D生成器高效生成各个部件的高质量3D表示。

关键观点5: OmniPart模型的技术细节。

OmniPart引入了一种新颖的部件覆盖损失函数，确保生成的边界框能完整覆盖物体部件。在第二阶段，利用预训练的TRELLIS模型进行部件生成，并通过去噪过程进行联合优化。此外，OmniPart还引入了一种新颖的体素丢弃机制，以处理体素在部件边界处的重叠问题和边界框初始化引入的噪声。