这只是一个规模问题。所以如果你的规模更大，你就能得到更好的结果。我们继续开展了第二个项目，采用了甚至更大的规模并在 ImageNet 上进行了研究，然后开始得到了真正非常出色的结果。您有这个想法有告诉 Jeff Dean 吗？他是什么反应？嗯，他非常支持。实际上我也想感谢 Jeff Dean 在这个想法的初期所提供的帮助。
我记得在 2014 年，有一次和 Jeff 吃了一顿午餐，他也分享了非常类似的看法。他认为如果仔细了解那时候的深度学习研究者所做的事情，就会发现他们当时会花大量时间来在超参数等方面调整架构。我们认为一定存在一种自动化这一过程的方法。Jeff 喜欢扩展和自动化困难的东西，这是大多数科技人员不愿做的事情。
Jeff 给我提供了鼓励，我也最终决定去做这个。谷歌 AI 负责人 Jeff Dean神经架构搜索与您之前的研究有何不同？这不同于我之前在计算机视觉领域的工作。这段研究经历源自一个想法，并且也在随时间成长。我也有过一些错误想法。比如，我曾想自动化和重建卷积，但那是个错误的直觉想法。也许我应该接受卷积，然后使用卷积来构建其它东西？这对我来说是一个学习过程，但不算太坏。
技术研究者或工程师需要哪些种类的组件来构建神经网络模型？因应用各异，确实会有所不同，所以我们先来看看计算机视觉领域——即使是在计算机视觉领域内也有很多事物。通常而言，卷积网络会有一个图像输入，有一个卷积层，然后一个池化层，之后还有批归一化。然后还有激活函数，你还可以决定连接到新的层的 skip connection 等等。
在卷积模块内，你还有很多其它选择。比如在卷积中，你必须决定过滤器的大小：1x1? 3x3? 5x5? 你还必须决定池化和批量大小的规格。至于 skip connection，你可以选择从第一层到第十层，也可以选择从第一层到第二层。所以需要做的决定非常多，也就存在大量可能的架构。可能性也许能达到数万亿，但人类现在只会检查这些可能中的一小部分。
一种常见的卷积架构您的第一篇 AutoML 相关论文是《Neural Architecture Search (NAS) with Reinforcement Learning（使用强化学习的神经架构搜索）》。自那以后，您的团队已经采用了进化算法并开始使用渐进式神经架构搜索。您能详细谈谈这些改进背后的思路吗？在原来的论文中，我们是从强化学习开始的，因为我们直觉上认为这类似于人类的处理方法，也就是可以使用试错。
但我很好奇，所以我说：「好吧，试试进化方法怎么样？」我们做了很多实验并取得了一些成功，并且认识到这个过程可以使用进化来完成，所以我们修改了核心算法。更大的一个改变是使用了 ENAS（高效神经架构搜索）。过去，当你生成了大量架构时，每个架构的训练和评估都相对于前一代是独立的。所以一般不会共享任何先验知识或信息。
