Percy Liang、李飞飞等百余位学者联名发布：「基础模型」的机遇与挑战

大数据文摘授权转载自智源社区撰文：赵言，秦红川，程晨校对：贾伟随着BERT、GPT-3、DALL-e等超大模型的兴起，自监督学习+预训练模型微调适配方案，逐渐成为主流。这种范式会先在超大规模海量数据上进行自监督的模型预训练，然后适配到广泛的下游任务。自监督训练使得基础模型（Foundation Models）对显式注释的依赖性下降，也带来了智能体基本认知能力（例如，常识推理）的进步。但与此同时却也导致了基础模型的「涌现」与「同质化」特性。所谓「涌现」，意味着一个系统的行为是隐性推动的，而不是显式构建的；所谓「同质化」，即基础模型的能力是智能的中心与核心，大模型的任何一点改进会迅速覆盖整个社区，其隐患在于大模型的缺陷也会被所有下游模型 ………………………………