原文链接:https://arxiv.org/pdf/1707.07012.pdf 发表:CVPR 2018
编辑:牛涛
code:https://github.com/MarSaKi/nasnet(非官方复现)
本文argue了之前NAS方法的高复杂度并提出了一种基于cell的NAS方法,更重要的是,在proxy dataset(如CIFAR-10)上搜索到的结构,展现出了很好的迁移能力(如Imagenet)。
最开始的NAS方法异构性很强,每一层都是不同的结构与权重,在本文作者通过重复堆叠同一种cell结构(但权重可以不同)来缩小搜索的空间。(尽管会牺牲一定的异构性,但是结果没有明显下降)。堆叠的逻辑如下图
Normal Cell/Reduction Cell 分别负责正常操作与下采样操作,结构是分别搜索的。(实验结果表明分开搜索更好)
搜索的controller仍采用RNN,逻辑如下图
1.从【之前block输出,前两个cell输出】的集合中有放回地选择两个作为当前block的输入
2.分别选择两个操作处理这两个输入
3.选择一个操作(相加或拼接)来处理上述操作得到的两个输出
其中第2步的操作从下列空间中采样
更新RNN的方式仍是策略梯度。值得一提的是,尽管本文是通过RNN过softmax输出后的概率进行采样,作者表明随机采样(均匀分布)也表现出了很好的效果,作者把这个结果归功于良好的结构空间设计。上述的结构搜索流程如下图