专栏名称: 大模型智能
机器学习算法、深度学习算法、自然语言处理等干货知识集中营
今天看啥  ›  专栏  ›  大模型智能

增量推理:一种CNN加速的新思路

大模型智能  · 公众号  ·  · 2021-03-22 08:00
来自|知乎   作者丨RESUMMER链接丨https://zhuanlan.zhihu.com/p/339278582编辑丨极市平台本文以视频目标检测(ORV),基于遮挡的CNN解释(OBE)这两个任务为例讲解了增量推理的工作原理和流程以及单个层的批量增量如何推理扩展到整个CNN。 一. 传统的CNN加速思路在图像识别领域,现在的CNN往往都是结构很复杂的,动辄就有几百万的网络参数,输入数据集也逐渐由低分辨图片变成高分辨率图片或是视频。在这种情况下,完成1次前向推理,计算量是非常大的,需要的时间也会很长。更不用说,对于某些应用场景(比如视频目标识别等)需要不断地发起再推理(re-inference),这就对模型的速度提出了更高的要求。客观来说,早期的CNN研究的主要关注点是提高模型的精度,在ImageNet ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照