机器之心发布作者:Han Cai, Ligeng Zhu, Song Han论文:ProxylessNAS: Direct Neural Architecture Search on Target Task and Hardware.网站:https://hanlab.mit.edu/projects/proxylessNAS/论文: https://arxiv.org/pdf/1812.00332.pdf代码:https://github.com/MIT-HAN-LAB/ProxylessNAS摘要:NAS 受限于其过高的计算资源 (GPU 时间, GPU 内存) 需求,仍然无法在大规模任务 (例如 ImageNet) 上直接进行神经网络结构学习。目前一个普遍的做法是在一个小型的 Proxy 任务上进行网络结构的学习,然后再迁移到目标任务上。这样的 Proxy 包括: (i) 训练极少量轮数; (ii) 在较小的网络下学习一个结构单元 (block),然后通过重复堆叠同样的 block 构建一个大的网络; (iii) 在小数据集 (例如 CIFAR) 上进行搜索。然而,这些在 Proxy 上优化的网络结构在目标任务上
………………………………