Google 提出新模型 CALM，生成模型解码速度提升一倍以上

文章预览

语言模型（LMs）是最近自然语言处理领域许多突破性进展的驱动力。像T5、LaMDA、GPT-3和PaLM这样的模型已经在各种语言任务中表现出令人印象深刻的性能。虽然多种因素可以帮助提高LM的性能，但最近的一些研究表明，扩大模型的规模对于揭示突发能力至关重要。换句话说，一些实例可以由小模型来解决，而另一些实例似乎可以从扩大规模中受益。 尽管最近的努力使得在大量数据上可以有效地训练LMs，但训练好的模型在实际使用中仍然可能是缓慢和昂贵的。当在推理时间生成文本时，大多数自回归LM输出的内容类似于我们说话和写作的方式（一个字接一个字），根据前面的词来预测每个新词。这个过程不能被并行化，因为LM需要在开始计算下一个词之前完成一个词的预测。此外，鉴于该模型有数十亿的参数，预测每个词需要大量的计算。 Google在 NeurIP ………………………………