神经网络的结构设计与结构搜索

正如在1.2章节中所提到的，在进行性能的自顶向下优化的时候，首先我们需要设计可以训练到高精度，且尽可能紧凑的神经网络结构。在本章的2.1章节中将详细介绍各种神经网络结构的设计，其中包括经典的LeNet^[1]，AlexNet^[2]，Inception系列^{[3, 4, 5, 6]}，VGGNet^[7]，ResNet^[8]；紧凑的MobileNet系列^{[9, 10, 11]}，ShuffleNet系列^{[12, 13]}，EfficientNet^[14]，GhostNet^[15]以及MicroNet^[16]；除此之外在本章的2.2章节中还会介绍各种基于神经网络结构搜索的方法，用于自动化的搜索神经网络结构。