240万亿巨量数据被洗出，足够训出18个GPT-4！全球23所机构联手，清洗秘籍公开

文章预览

   新智元报道   编辑：编辑部 【新智元导读】 是时候把数据Scale Down了！Llama 3揭示了这个可怕的事实：数据量从2T增加到15T，就能大力出奇迹，所以要想要有GPT-3到GPT-4的提升，下一代模型至少还要150T的数据。好在，最近有团队从CommonCrawl里洗出了240T数据——现在数据已经不缺了，但你有卡吗？ 是时候把数据Scale Down了！ 如今，这个问题已经迫在眉睫。 清华博士秦禹嘉表示，Llama 3就揭示了一个严峻且悲观的现实：在不改变模型架构的情况下，将数据量从2万亿（2T）增加到15万亿（15T），就能大力出奇迹。 这也就意味着，从长远来看，基座模型的发展机会，只能独属于大公司。 而考虑到Scalng Law的边际效应，如果我们希望在下一代模型身上看到从GPT-3到GPT-4级别的演进，就需要至少再清洗出至少10个数量级的数据（比如150T）。 就在最近，好消息来 ………………………………