增量推理：一种CNN加速的新思路

文章预览

来自｜知乎   作者丨RESUMMER 链接丨https://zhuanlan.zhihu.com/p/339278582 编辑丨极市平台 本文以视频目标检测（ORV），基于遮挡的CNN解释（OBE）这两个任务为例讲解了增量推理的工作原理和流程以及单个层的批量增量如何推理扩展到整个CNN。  一. 传统的CNN加速思路 在图像识别领域，现在的CNN往往都是结构很复杂的，动辄就有几百万的网络参数，输入数据集也逐渐由低分辨图片变成高分辨率图片或是视频。在这种情况下，完成1次前向推理，计算量是非常大的，需要的时间也会很长。更不用说，对于某些应用场景（比如视频目标识别等）需要不断地发起再推理（re-inference），这就对模型的速度提出了更高的要求。客观来说，早期的CNN研究的主要关注点是提高模型的精度，在Imag ………………………………