2024-05-02 06:06
本条微博链接
通过让transformer语言模型同时预测多个未来Token,提出一种既简单又有效的multi-token预测方法,可以显著提升模型的性能和推理速度,尤其适用于大型模型,值得深入研究。
[CL]《Better & Faster Large Language Models via Multi-token Prediction》F Gloeckle, B Y Idrissi, B Rozière, D Lopez-Paz, G Synnaeve [FAIR at Meta] (2024) 网页链接 #
………………………………