视频解读 | 面向神经网络语言模型的神经网络结构自学习方法研究

作者 | 姜雨帆责编 | Camel神经网络的结构学习是目前十分受关注的一个研究方向，主要包含网络结构优化和网络结构搜索两个方向。本次报告从两方面对神经网络的结构学习进行研究，首先从网络结构优化的角度，提出了一种动态网络连接的自动学习方法。动态的去学习网络的连接，这种连接生长和剪枝的方式完全和训练相关，参考了训练过程中的梯度，层和层之间信息流传递的有效性，可以更好的对网络连接进行动态操作，从而得到更紧凑、高效的模型结构。除此之外，我们还对可微分的网络结构搜索方法进行改进，移除了原有的局部归一化限制，同时对网络结构进行采样的更新方法，使得可微的网络结构搜索过程更稳定、高效。最后，我们也通过定量和定性的实 ………………………………