【星球知识卡片】模型压缩重要方向-动态模型，如何对其长期深入学习

大家好，欢迎来到我们的星球知识小卡片专栏，本期给大家分享模型压缩中的一个非常重要的方向，动态模型。作者&编辑 | 言有三 1 基于样本动态变化的卷积权重Dynamic Convolution名为动态卷积，它可以根据输入图像，采用注意力机制自适应地调整卷积参数，不仅显著提升了表达能力，额外的计算成本也很小，类似的早期研究和后续研究非常多，包括Dynamic Filter Networks等。2 基于空间位置动态变化的卷积权重Dynamic RegionAware Convolution是一个空间动态卷积模型，它可以根据输入图像不同特征图上不同区域特征的特性，采用不同的卷积核进行计算，从而提升模型性能，类似的方法还有involution。3 基于退出机制与模块删除的模型随着网络的加深，特征的表达能力越来越强，但是大 ………………………………