Lilian Weng:Lil'Log(RSS)·· 2020-08-06AI 评分37
神经架构搜索(NAS)综述:搜索空间、搜索算法与评估策略
Neural Architecture Search
AI 导读
神经架构搜索(NAS)通过自动学习高性能网络拓扑,由搜索空间、搜索算法和评估策略三大组件构成。搜索空间从早期的逐层序列化表示发展到 NASNet 的 cell 重复堆叠结构,后者支持跨数据集迁移并可通过调整 cell 重复次数缩放模型。Zoph & Le 2017 的实验曾用 800 块 GPU 并行运行 28 天,NASNet 还提出 ScheduledDropPath 显著提升最终性能。
来源:Lilian Weng:Lil'Log(RSS) · lilianweng.github.io