ICLR 2020 | 神经网络架构搜索（NAS）论文推荐202

ICLR 2020 线上会议已经圆满结束。此次会议关于NAS的研究主题包括对benchmark的探讨、对于流行的NAS方法的理解和分析，以及如何提高NAS方法的精度和效率等。值得一提的是，此届会议举办了ICLR历史上的第一个神经网络架构搜索（NAS）的Workshop（https://sites.google.com/view/nas2020/home），充分体现出NAS正成为越来越热门的神经网络研究方向。

此文列出以下十篇ICLR 2020 上关于NAS的经典文章供大家学习参考！

1. NAS-Bench-201: Extending the Scope of Reproducible Neural Architecture Search

作者：Xuanyi Dong, Yi Yang

本文是University of Technology Sydney和百度研究团队的合作研究成果。近年来伴随着NAS的大火，NAS的研究方法也层出不穷，但是对于各种方法的比较没有严格的基准。此篇文章致力于设立统一的基准(benchmark)用于不同NAS方法的比较。另外，虽然NAS可以自动搜索表现较好的模型，但是搜索的成本较高，尤其是是评估不同网络结构训练的成本。因此，此篇论文提供了15625个不同网络结构在三个数据集上的的训练的信息，有利于研究工作者避免繁琐重复的训练。

2. NAS-Bench-1Shot1: Benchmarking and Dissecting One-shot Neural Architecture Search

作者：Arber Zela, Julien Siems, Frank Hutter

作者来自University of Freiburg和Bosch AI. 此篇论文与上篇论文在研究目的上具有较大的相似，上篇论文spotlight，这篇论文被选为poster. 因此在此对于这篇文章不做过多的总结。

3. NAS evaluation is frustratingly hard

作者：Antoine Yang, Pedro M. Esperança, Fabio M. Carlucci

后两位作者来自Huawei Noah’s Ark Lab该篇论文提供了8种NAS方法在5个数据集上的评估基准（benchmark)，研究发现现有的NAS方法并没有比随机生成的网络结构具有显著的优势。

4. Understanding Architectures Learnt by Cell-based Neural Architecture Search

作者：Yao Shu, Wei Wang, Shaofeng Cai

作者来自新加坡国立大学。研究发现现有的一些流行的NAS方法的cell structure大多呈现如下结构：

1-.png

原因在于此种结构具有平稳的loss landscape以及快速的收敛性，如下图所示：

2-.png

5. Understanding and Robustifying Differentiable Architecture Search

作者：Arber Zela, Thomas Elsken, Tonmoy Saikia, Yassine Marrakchi, Thomas Brox, Frank Hutter

此篇论文认为DARTS可微网络结构搜索对于一些新的数据集没有表现出稳健的结果。原因在于DARTS对于valid dateset过度拟合。因此，研究提供了一些解决方案。

6. Evaluating the Search Phase of Neural Architecture Search

作者：Christian Sciuto, Kaicheng Yu, Martin Jaggi, Claudiu Musat, Mathieu Salzmann

研究发现流行的NAS方法比如DARTS, ENAS和随机的网络结构具有相似的performance。研究发现weight sharing是减弱这些流行方法的performance的一个原因。

7. PC-DARTS: Partial Channel Connections for Memory-Efficient Architecture Search

作者：Yuhui Xu, Lingxi Xie, Xiaopeng Zhang, Xin Chen, Guo-Jun Qi, Qi Tian, Hongkai Xiong

作者来自上海交通大学和华为诺亚方舟实验室，同济大学和Futurewei Technologies。本篇论文为spotlight。研究目的在于提高DARTS的训练和内存的有效性(efficiency)。

8. AtomNAS: Fine-Grained End-to-End Neural Architecture Search

作者：Jieru Mei, Yingwei Li, Xiaochen Lian, Xiaojie Jin, Linjie Yang, Alan Yuille, Jianchao Yang

作者来自约翰霍普金斯大学和字节跳动公司。此项研究的贡献在于增大了NAS的搜索空间（search space），以取得更高的精度。不同于DARTS有搜索和评估两个阶段，这篇文章NAS方法只有end-to-end这一个阶段。

9. Once for All: Train One Network and Specialize it for Efficient Deployment

作者：Han Cai, Chuang Gan, Tianzhe Wang, Zhekai Zhang, Song Han

作者来自MIT韩松团队。这篇论文主要内容是通过训练和搜索一种once for all的超级网络，以支持不同的硬件平台设施。

（关于本篇论文更多的信息参见“MIT 韩松专访：Once for All 神经网络高效适配不同硬件平台）

10. FasterSeg: Searching for Faster Real-time Semantic Segmentation

作者：Wuyang Chen, Xinyu Gong, Xianming Liu, Qian Zhang, Yuan Li, Zhangyang Wang

本篇论文将DARTS用于real-time的图像分割上。发现网络结构collapse的问题。解决方法为加入一些正则项(regularization term)。

相关阅读：

ICLR 2020 | 知识图谱推理框架：基于向量空间的推理和数值逻辑推理

ICLR 2020 | PairNorm: Tackling Oversmoothing in GNNs

ICLR 2020 | 预训练图神经网络模型

ICLR 2020 | 探索新的图表征学习思路

ICLR 2020 | NLP预训练模型的全新范式：对比学习

ICLR 2020 | 互信息视角下的表征学习

ICLR 2020 | 反事实因果理论如何帮助深度学习？

ICLR 2020 | 浅谈GNN：能力与局限

ICLR 2020 | 一种高效、表达能力强的可微分归纳逻辑推理模型

ICLR 2020 | 基于谱方法的高效多级图嵌入框架

ICLR 2020 满分论文解读| 一种镜像生成式机器翻译模型：MGNMT