现在的大模型都是预测下一个Token，Meta的这篇论文有了基础-20240504155158

2024-05-04 15:51 本条微博链接 现在的大模型都是预测下一个Token，Meta的这篇论文有了基础性的突破，同时预测多个TokensBetter & Faster Large Language Models via Multi-token Prediction（多Token预测的更好更快的大型语言模型）#ai探索计划##ai# 论文：arxiv.org/abs/2404.19737论文摘要：GPT 和 Llama 等大型语言模型是通过下一个Token预测损失进行训练的。在这项工作中，我们建议训练语言模型来同时预测多个未来Token，从而提高样本效率。更具体地说，在训练语料库 ………………………………