ImageNet 有大约 100 万张图像，包含花的图像有大约 1000 张。你可以根据 ImageNet 找到最佳的架构，然后复用这些权重；或者你可以直接取一个 Inception V3 这样的先进模型，然后在 ImageNet 上训练，再在花上迁移学习，之后复用其权重。SOTA 方法是只迁移权重，因为大多数人都不做架构生成。
你必须先让你的 Inception V3 或 ResNet 在 ImageNet 上训练。完成这个训练之后，你再做微调。我想说的是，实际上你既需要架构迁移学习，也需要权重迁移学习；两者可以通过如下方式结合起来：结合方法一：首先做架构迁移学习，然后再做权重迁移学习。结合方法二：直接在你的数据集上进行架构搜索，并在 ImageNet 上做权重迁移学习。
结合方法三：直接使用 ResNet 和权重迁移学习。这是当前最佳的方法。结合方法〇：只在你的目标数据集上进行架构搜索，不做迁移学习。因数据集不同，适用的结合方法也不同，因为有的数据集更大，有的则更小。不同的结合方式是在数据集的不同侧面发挥作用。我预测未来几年，组合方法〇（即纯粹的架构搜索）将能得到质量更好的网络。
我们在这一领域做了大量研究，我们知道这种方法实际上更好。Quoc Le 在接受机器之心视频采访期间进行板书麻省理工学校和上海交通大学的一篇研究论文提出了一种路径层面的网络到网络变换（arXiv: 1806.02639），您怎么看？这是个很棒的思路。在我决定研究架构搜索时我就想过尝试这一思路：首先从一个优良的初始架构开始，然后修改再修改，总是尽力做到越来越好。
但我感觉这有点点胸无大志，我希望能做些更雄心勃勃的事情！写论文的一大好处是当我们发表时，我们会发现很多人都有一样的哲学思想。而且他们确实对这些算法进行了修改，我们实际上也能从这些研究思想中学到东西，帮助改进我们自己的研究。AutoML 的哪些部分仍需人类干预？我们还必须做一些设计搜索空间的工作。在架构搜索方面，可以使用进化、强化学习或这种高效的算法。
但我们也必须定义一个卷积网络或全连接网络的构建模块所处的空间。有些决定还是必须人来做，因为目前 AutoML 的计算能力有限。我们并不能直接搜索一切，因为那样的话搜索空间就太大了。因为这样的原因，我们必须设计一个带有所有可能性的更小的搜索空间。深度学习仍然是一种黑箱技术。AutoML 能帮助用户更好地理解模型吗？我们能得到一些见解。
比如，这样的搜索过程会生成很多看起来类似的架构。你可以检查这些架构，然后识别出特定的模式。你也可以得出一些直觉理解，帮助你了解哪种架构对你的数据集而言最好。比如在 ImageNet 上，由 AutoML 发现的网络的层中通常都有多个分支（不同于每层仅有一个或少量分支的更传统的网络）。在分支的层面上看，很难解释发生了什么。
