【NTU博士论文】让语言模型更接近人类学习者

文章预览

近年来，语言模型（Language Models, LMs）在多种自然语言处理（NLP）任务中取得了显著进展。然而，这些模型的学习能力与人类之间仍存在明显差距。其中一个主要区别在于学习的效率与灵活性。人类可以通过少量带标签的样本迅速掌握新概念，并能在一生中持续学习新任务而不会遗忘先前获得的知识。相比之下，语言模型通常需要大量数据才能实现有效泛化，并在适应新任务或不同数据分布时容易出现灾难性遗忘（catastrophic forgetting）的问题，即忘记之前已学到的知识。 本论文聚焦于解决这些挑战，围绕人类类学习（human-like learning）的两个核心方面展开研究：(1) 小样本学习（few-shot learning），即语言模型需能从有限的标签数据中有效泛化；(2) 持续（终身）学习（continual/lifelong learning），即模型在连续任务中学习时能够保留并积累知识。围绕这两个 ………………………………