kaiming初始化很好，但我准备用新招！权重选择：用大神经网络的权重初始化小神经网络

↑ 点击蓝字 关注极市平台作者丨科技猛兽编辑丨极市平台极市导读 在本文中，作者提出了一种称为权重选择 (Weight Selection) 的方法，这是一种从预训练好的大模型中选择权重来初始化较小模型的方法。Weight Selection 把知识从预训练好的权重迁移到更小的模型中。 >>加入极市CV技术交流群，走在计算机视觉的最前沿本文目录1 用大神经网络的权重初始化小神经网络？(来自 University of Pennsylvania，UC Berkeley, MBZUAI, Meta AI)1 Weight Selection 论文解读1.1 重新思考神经网络初始化1.2 本文贡献1.3 Weight Selection 方法介绍1.4 实验配置1.5 实验结果1.6 与其他方法的比较1.7 与知识蒸馏的兼容性1.8 其他分析结果太长不看版权重初始化是神经网络训练中的一个古老而又永恒的话题。对于从头训练的神经网络而言，有很多权重初始化的方法。近年来大模型的出现，为这一经典 ………………………………