音画同步，AI视频也能有完美「原声音」，可灵AI刚上线的！

主要观点总结

文章介绍了可灵AI推出的新技术Kling-Foley，该技术能够基于视频内容和文本提示自动生成与视频内容匹配的立体声音频，包括音效和背景音乐等。该技术的出现引起了海外网友的广泛关注。Kling-Foley模型通过一系列创新技术实现了音视频同步输出，解决了生成式AI的一个关键节点问题。同时，可灵AI还构建了大规模多模态数据集，为模型训练提供了扎实的数据基础。最后，文章介绍了可灵AI平台上的文生音效能力，以及Kling-Foley模型的应用和升级情况。

关键观点总结

关键观点1: Kling-Foley技术能够自动生成与视频内容匹配的立体声音频。

Kling-Foley支持基于视频内容和可选文本提示自动生成与视频画面语义相关、时间同步的高质量立体声音频，涵盖音效、背景音乐等多种类型声音内容。

关键观点2: Kling-Foley技术的创新点在于解决了音视频同步输出的问题。

Kling-Foley模型通过一系列创新技术实现了音视频同步输出，包括多模态控制、流匹配模型、视觉语义表示模块和音视频同步模块等。

关键观点3: 可灵AI构建了大规模多模态数据集，为Kling-Foley模型的训练提供了数据基础。

可灵AI自建的多模态数据集样本总数高达1亿+，每个样本都包含原始视频片段、对应的单声道音频片段，以及关于音频的结构化文本描述。

关键观点4: 可灵AI平台上的文生音效能力得到了升级。

可灵AI新增了音效生成入口和视频音效开关，用户可以直接上传本地视频或选择可灵生成的视频，一键生成与视频内容语义贴合、时间同步的音效内容。