模型量化 (quantization)

模型量化从用户的角度按照复杂程度主要可以分为三种类别，最简单的是无需数据的方法 (Data-free Methods)，这类方法在对模型进行量化的时候不需要训练数据，在章节5.1中进行详细介绍；其次是基于标定数据的方法 (Calibration-based Methods)，这类方法不需要进行额外的训练，但是需要一定量的数据来标定量化器的参数，在章节5.2中进行详细介绍；最复杂的是量化感知训练 (Quantization-aware Training)，这类方法通过训练来适应低比特的模型参数，在章节5.3中进行详细介绍。前两种方法是无需训练的，因此也被称为后训练量化（Post-training Quantization）。在量化到相同比特数的时候，这三种方式在精度损失上依次减少，在实现上依次变得更加复杂。