无中生有！没有视觉信号的视觉语音增强

今天跟大家分享一篇非常有意思也很有用的文章，是WACV 2021的录用论文Visual Speech Enhancement Without A Real Visual Stream。该文研究涉及计算机视觉与语音处理的交叉。论文信息：作者来自：印度 IIIT Hyderabad 和英国巴斯大学。语音增强是语音处理的经典研究内容，以往的语音增强往往只将语音作为输入信号，这在现实世界的嘈杂环境中往往效果不佳。近年来一种视觉辅助的语音增强技术取得了突破，通过跟踪视频中人物口型，可以较好的辅助过滤环境噪声。但其需要人物正脸在视频中，使用场景较为狭窄，毕竟大多数场景下，没有人物正脸，甚至没有视觉信息辅助。该文学者指出，实际上根据语音进行唇语合成已经是一个较为成熟的技术，在现有框架下，可以直接使用语音信 ………………………………