神经网络的训练

上一章节介绍了如何设计高性能的神经网络结构，本章的目的在于尽可能快的将神经网络训练到尽可能高的精度。在章节3.1中将介绍神经网络训练过程中调节超参数的技巧，其中包括手动调参的技巧和自动调参的方法和工具；在章节3.2中将介绍各种通过数据增强的方法，同样包括普通方法与自动化的方法；在章节3.3中还会介绍知识蒸馏；在章节3.4中会介绍其他的训练技巧，包括shake-shake，label smoothing，EMA等；在3.5章节中还会介绍加速模型训练的方法，其中包括各种分布式训练的技巧与工具，以及如何分析训练过程的速度瓶颈，充分压榨硬件的性能。