看啥推荐读物
专栏名称: 爱可可-爱生活
知名互联网资讯博主 北邮PRIS模式识别实验室陈老师
今天看啥  ›  专栏  ›  爱可可-爱生活

通过对大规模语言模型的数据剪枝方法进行研究,发现简单的困惑度方法-20230913054658

爱可可-爱生活  · 微博  · AI  · 2023-09-13 05:46
2023-09-13 05:46 本条微博链接 通过对大规模语言模型的数据剪枝方法进行研究,发现简单的困惑度方法在性能上优于更复杂的评分方法,验证了剪枝可以提高模型性能的可行性。 [CL]《When Less is More: Investigating Data Pruning for Pretraining LLMs at Scale》M Marion, A Üstün, L Pozzobon, A Wang, M Fadaee, S Hooker [Cohere for AI] (2023) 网页链接 #机器学习##人工智 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照