VALL-E 2，大幅提升语音大模型的稳健性与自然度

主要观点总结

本文主要介绍了微软亚洲研究院推出的文本到语音合成技术的升级版本VALL-E 2。VALL-E 2利用重复感知采样和分组编码建模技术，显著提高了语音的稳健性、自然度和说话人相似度，其性能在LibriSpeech和VCTK数据集上已达到与人类水平相近。文章还介绍了VALL-E 2的应用领域和潜在风险。

关键观点总结

关键观点1: VALL-E 2是微软亚洲研究院基于离散编码的语音大模型推出的升级版，提高了语音合成的性能。

通过使用重复感知采样和分组编码建模技术，解决了传统TTS系统的泛化能力问题，并提高了语音的自然度和相似度。

关键观点2: VALL-E 2实现了零样本TTS性能的提升，即使对于陌生的说话人，也能合成高质量的个性化语音。

这主要得益于LLMs技术的引入和离散编码的使用，使得TTS系统展现出强大的上下文学习能力。

关键观点3: VALL-E 2采用了自回归和非自回归模型的结合，通过重复感知采样和分组编码建模实现了模型的优化。

这种结合提高了推理速度，并解决了长序列建模的难题。

关键观点4: VALL-E 2的应用领域广泛，包括教育学习、娱乐、新闻、无障碍功能等。

但其使用需要注意潜在风险，例如伪造语音识别或冒充特定说话者。

关键观点5: 微软致力于推进负责任的人工智能发展，并主动采取措施预判和降低人工智能技术所带来的风险。

这包括确保技术能被人们信赖，并设置治理架构确保各团队把各项负责任的人工智能原则和标准落实到日常工作中。