TPAMI 2024 | 动态网络新设计范式：LAUDNet实现时延可感知的动态网络

在深度学习领域，动态神经网络受到越来越多研究者的关注。这类网络能够在推理阶段根据需要选择性地激活网络层或通道，或者针对图像特征中信息丰富的区域动态分配计算资源，有效减少了每个输入样本所需的不必要计算量。然而，动态模型在实践中的效率往往与理论预期有所出入。这一现象主要由三个挑战引起：首先，由于研究社区的碎片化，各种动态推理范式尚缺乏一个统一的建模方式；其次，过分重视算法设计而忽略了调度策略的重要性，特别是在CUDA支持的GPU环境下，调度策略对优化计算性能和资源利用尤为关键；最后，由于大多数现有的库都是针对静态算子开发的，评估动态算子实际的时延变得格外复杂。为了解决这些问题，作者提出了“时延可感知的统一动态网络”（LAUDNet），它将空间自适应计算、动态层跳过和动态通道跳过这 ………………………………