语义鸿沟、异构鸿沟、数据缺失，多模态技术如何跨过这些坎？

随着近年来深度学习、大算力、大数据快速发展，计算机视觉、语音识别等技术都取得了非常大的进展，综合了多种信息模态的多模态研究已成为一个新趋势。对于快手而言，多模态研究也是非常重要的课题。 快手是一个记录和分享生活的短视频社交平台，通过人、内容及二者互动数据的理解，借助算法匹配推荐用户可能感兴趣的内容。一方面，视频可称是典型的多模态问题，综合了视觉、听觉、文本多种模态信息。在视频的基础上，加上用户行为数据就是一种更加复杂的多模态问题。目前快手在多模态技术上的应用，一方面在于帮助用户更好地表达与记录，另一方面在于对视频内容的精准理解。多模态技术帮助用户更好地表达与记录1、语音转文字打造便捷字幕生成 ………………………………