• 中文
  • 3.8.1

    • 预测工具

    算法包提供的 predict.py 工具是模型推理的核心入口，支持单卡 / 多卡、单机 / 多机推理模式， 兼容浮点推理、量化模型推理、定点模型推理等不同阶段的配置与执行，通过命令行参数即可灵活控制推理全流程。

    使用方法

    运行 tools/predict.py，支持通过命令行参数指定核心训练配置，也可结合 config 文件完成精细化训练流程定义。

    参数介绍

    参数描述
    --stage不同的训练和预测阶段。可选值为 float、calibration、qat 和 int_infer。
    --config, -cconfig文件路径。
    --device-ids, -ids运行的GPU列表。
    --dist-url多机运行指定的server地址，默认是auto。
    --backend多机或者多卡通信使用的backend。
    --ckpt预测使用的checkpoint文件。
    --launcher多机运行的启动方式，请选择torch。
    --pipeline-test是否运行pipeline测试。

    使用示例

    以 resnet50_imagenet 为例，启动多卡量化模型推理，config配置文件的详细介绍可参考config配置章节

    python3 tools/predict.py --stage qat \
                      --config configs/classification/resnet50_imagenet.py \
                      --device-ids 0,1

    config配置文件的详细介绍可参考config配置章节。