量化训练分析工具

算法包提供的 quant_analysis.py 是针对模型部署场景,在模型从从浮点(FP32)到量化(如 INT8)部署前的分析工具,执行工具会进行量化敏感度分析验证,支持单机多卡 / 多机分布式运行。

使用方法

运行 tools/quant_analysis.py 脚本,加载指定配置文件执行模型量化分析,输出分析结果至指定目录。

参数介绍

参数描述
--config CONFIG, -c CONFIGconfig文件路径。
--device-ids DEVICE_IDS, -ids DEVICE_IDS运行的GPU列表。
--dist-url DIST_URL多机运行指定的server地址,默认是auto。
--backend多机或者多卡通信使用的backend。
--launcher多机运行的启动方式,请选择 torch。

使用示例

python3 tools/quant_analysis.py \
        -c ./configs/bev/bevformer_tiny_resnet50_detection_nuscenes.py \
        -ids 0,1

config配置文件的详细介绍可参考config配置章节。