Light-X来了！全球首个「镜头×光照」双控4D视频生成框架，单目视频秒变电影级

主要观点总结

Light-X是首个实现「镜头 × 光照」双维度可控的4D视频生成框架，能让用户按意图重新导演一段视频，自由规划镜头轨迹和生成任意新视角内容，也能灵活调整光源方向、亮度与风格。该框架通过显式解耦相机与光照，在统一的扩散模型中实现稳定、高保真的联合调控。同时提出了Light-Syn数据管线，用于训练模型。实验结果表明，Light-X在镜头和光照联合控制及视频重打光任务上显著优于现有方法。

关键观点总结

关键观点1: Light-X能够实现「镜头 × 光照」双维度可控的4D视频生成。

Light-X是首个能够同时控制镜头运动和光照的4D视频生成框架，用户能够自由规划镜头轨迹、生成任意新视角内容，并灵活调整光源方向、亮度与风格。

关键观点2: Light-X通过显式解耦相机与光照，在统一的扩散模型中实现稳定、高保真的联合调控。

Light-X将相机控制与光照控制先解耦，再在扩散模型中统一融合，实现了在单目视频场景中的「镜头 × 光照」双可控生成。

关键观点3: Light-X提出了Light-Syn数据管线，用于训练模型。

为了训练具备「镜头 × 光照」联合控制能力的模型，Light-X构建了Light-Syn数据管线，该管线能够自动合成训练数据，包括对齐的几何渲染、可见区域、重光照视频等。

关键观点4: Light-X在镜头和光照联合控制及视频重打光任务上显著优于现有方法。

实验结果表明，Light-X在两个核心任务上——镜头和光照联合控制以及视频重打光，都显著优于现有方法。