赛尔原创@COLING2024 | 基于梯度一致性的多语言神经机器翻译参数分配

论文名称：Gradient Consistency-based Parameter Allocation for Multilingual Neural Machine Translation论文作者：霍文帅，冯骁骋，黄毅翀，付成鹏，王晖，秦兵原创作者：霍文帅转载须标注出处：哈工大SCIR1. 介绍多语言神经机器翻译使用一个统一的模型处理多种语言之间的翻译。然而，这种联合训练方式常常会引发跨语言干扰问题，即模型在面对多样的语言时，会为了寻找更加通用的解决方案而牺牲语言特性。最近的研究探索了通过为每种语言方向选择特定参数构建语言特定的子网络来避免这个问题。然而，确定要选择多少参数以及选择哪些参数仍然是一个挑战。在这项工作中，我们提出了一种名为CaPA（基于一致性的参数分配）的方法，根据训练过程中每个语言方向的梯度与平均梯度之间的一致性动态地为每个语言方向分配适当规模的参数。2. 背景多语言机器翻译 ………………………………