Bev多任务模型训练
BEV参考算法基于地平线自研深度学习框架开发，训练config位于HAT/configs/bev/路径下。 下文以HAT/configs/bev/bevformer_tiny_resnet50_detection_nuscenes.py为例介绍如何配置并训练BEV参考算法。
训练流程
如果你只是想简单的把 Bev 的模型训练起来，那么可以首先阅读一下这一章的内容。和其他任务一样，对于所有的训练，评测任务，HAT统一采用 tools + config 的形式来完成。在准备好原始数据集之后，可以通过下面的流程，方便地完成整个训练的流程。
数据集准备
这里以nuscense数据集为例，可以从 https://www.nuscenes.org/nuscenes 下载数据集 。同时，为了提升训练的速度，我们对原始的jpg格式的数据集做了一个打包，将其转换成lmdb格式的数据集。只需要运行下面的脚本，就可以成功实现转换：
上面这两条命令分别对应着转换训练数据集和验证数据集，打包完成之后，data目录下的文件结构应该如下所示：
train_lmdb和val_lmdb就是打包之后的训练数据集和验证数据集，也是网络最终读取的数据集。metas中为分割模型需要的地图信息。
模型训练
数据集准备好之后，就可以开始训练浮点型的bev多任务网络了。
如果你只是单纯的想启动这样的训练任务，只需要运行下面的命令就可以：
这三条命令分别对应以下三个训练阶段：
浮点模型训练（float）：这是训练的第一步，模型以浮点精度进行训练，生成一个高精度的浮点模型。 该模型将作为后续校准和量化感知训练的基础。
校准模型训练（calibration）： 在这一阶段，模型不会更新权重，而是通过输入真实样本，统计每一层的输入输出范围，生成量化参数（如 scale 和 zero-point）。 校准的目的是为后续的量化感知训练（QAT）做好准备。
量化感知训练（qat）： 这是训练的最后阶段，模型在量化参数的基础上进行微调。 量化感知训练会模拟量化过程（如使用低精度计算），以确保模型在实际部署时的性能。
具体内容请阅读 量化感知训练（QAT） 章节的内容。
导出定点模型
完成量化训练后，便可以开始导出定点模型。可以通过下面命令来导出：
模型验证
在完成训练之后，可以得到训练完成的浮点、量化或定点模型。和训练方法类似，我们可以用相同方法来对训好的模型做指标验证，得到为 Float 、Calibration 和 Quantized 的指标，分别为浮点、量化和完全定点的指标。
和训练模型时类似，--stage 后面的参数为 "float"、"calibration" 时，分别可以完成对训练好的浮点模型、量化模型的验证。
定点模型精度验证也可使用下面命令，但需要注意是必须要先导出hbir：
模型推理和结果可视化
HAT 提供了 infer_hbir.py 脚本提供了对定点模型的推理结果进行可视化展示：
定点模型检查和编译
在HAT中集成的量化训练工具链主要是为了地平线的计算平台准备的，因此，对于量化模型的检查和编译是必须的。
我们在HAT中提供了模型检查的接口，可以在定义好量化模型之后，先检查能否在 BPU 上正常运行：
在模型训练完成后，可以通过 compile_perf_hbir 脚本将量化模型编译成可以上板运行的 hbm 文件，同时该工具也能预估在 BPU 上的运行性能：
以上就是从数据准备到生成量化可部署模型的全过程。
训练细节
在这个说明中，我们对模型训练需要注意的一些事项进行说明，主要为 config 的一些相关设置。
模型构建
其中，model 下面的 type 表示定义的模型名称，剩余的变量表示模型的其他组成部分。这样定义模型的好处在于我们可以很方便的替换我们想要的结构。例如，如果我们想训练一个backbone为resnet50的模型，只需要将 model 下面的 backbone 替换掉就可以。
数据增强
跟 model 的定义一样，数据增强的流程是通过在config配置文件中定义 data_loader 和 val_data_loader 这两个dict来实现的，分别对应着训练集和验证集的处理流程。以 data_loader 为例：
其中type直接用的pytorch自带的接口torch.utils.data.DataLoader，表示的是将 batch_size 大小的图片组合到一起。 这里面唯一需要关注的可能是 dataset 这个变量， CocoFromLMDB 表示从lmdb数据集中读取图片，路径也就是我们在第一部分数据集准备中提到的路径。transforms 下面包含着一系列的数据增强。 val_data_loader 中除了图片翻转(RandomFlip), 其他的数据变换和 data_loader 一致。你也可以通过在 transforms 中插入新的dict实现自己希望的数据增强操作。
训练策略
为了训练一个精度高的模型，好的训练策略是必不可少的。对于每一个训练任务而言，相应的训练策略同样都定义在其中的config文件中，从 float_trainer 这个变量就可以看出来。
float_trainer 从大局上定义了我们的训练方式，包括使用多卡分布式训练（distributed_data_parallel_trainer），模型训练的epoch次数，以及优化器的选择。
同时 callbacks 中体现了模型在训练过程中使用到的小策略以及您想实现的操作，包括学习率的变换方式(WarmupStepLrUpdater)，在训练过程中验证模型的指标(Validation)，以及保存(Checkpoint)模型的操作。当然，如果你有自己希望模型在训练过程中实现的操作，也可以按照这种dict的方式添加。
如果需要复现精度，config中的训练策略最好不要修改。否则可能会有意外的训练情况出现。
通过上面的介绍，你应该对config文件的功能有了一个比较清楚的认识。然后通过前面提到的训练脚本，就可以训练一个高精度的纯浮点的检测模型。当然训练一个好的检测模型不是我们最终的目的，它只是做为一个pretrain为我们后面训练定点模型服务的。
量化模型训练
当我们有了纯浮点模型之后，就可以开始训练相应的定点模型了。和浮点训练的方式一样，我们只需要通过运行下面的脚本就可以得到伪量化模型了：
可以看到，我们的配置文件没有改变，只改变了 stage 的类型。 Bevformer 需要经过 校准（calibration） 和 量化感知训练 (QAT) 两步才能达到量化目标。
模型校准 (Calibration)
我们首先对模型进行量化校准（calibration) ，这一步不改变模型的权重，主要一些真实样本输入统计模型各层输入输出范围，得到模型各层的量化scale。
calibration_trainer 的定义为：
当我们训练量化模型的时候，需要设置model_convert_pipeline，它首先载入模型浮点权重，然后用 Float2Calibration 将模型从浮点模型，转化成校准模型。
其中 calibration_qconfig_setter 定义了模型的量化配置，关于它的基本配置方法，您可以阅读 构建QConfig 章节的内容。
bevformer 的 calibration_qconfig_setter 是这样定义的：
这里可以改成（参考）：对于上述代码示例，我们会分步骤为您逐一拆解说明。
-
QconfigSetter.get_fuse_mode设置了默认的BN fuse方式为BNAddReLU这会把BN,Add和ReLU算子都融合在一起。 -
代码构建了两个关键字典：
int16_qconfig将view_transformer和bev_decoders中对数值敏感的层指定为qint16输出；None_qconfig_template则将位置编码等层设为 None，强制保持浮点计算。 -
q_templates定义了配置的生效优先级。首先设置全局默认为qint8。然后应用 Int16 和 None 配置，并设置 freeze=True。这相当于将这些关键层的配置锁定，防止被后续规则覆盖。 最后通过通用模板MatmulDtypeTemplae和ConvDtypeTemplate处理剩余的Conv和Matmul算子。 -
在最终初始化 Setter 前，代码还通过
mix_qconfig为所有 Int16 层单独指定了MixObserver，实现了“权重 Int8 + 激活 Int16”的混合精度策略。
量化感知训练 (QAT)
qat_trainer 的定义为：
量化训练其实是在纯浮点训练基础上的finetue，因此量化训练的时候，我们的初始学习率设置为浮点训练的二十分之一，训练的epoch次数也大大减少。
注意到，qat_qconfig_setter 和 calibration_qconfig_setter 是类似的， 但是observer改成了 MinMaxObserver , 它的速度会比 MSEObserver 快很多，我们推荐qat使用 MinMaxObserver。
model 定义的时候，我们先把模型转换成qat模型， 然后模型加载上一步保存的校准模型，开始训练。
若您想了解更多量化训练相关内容，比如准备浮点模型、算子替换、插入量化和反量化节点、设置量化参数以及算子的融合等，请阅读 量化感知训练（QAT） 章节的内容。