X86 仿真

工具链支持在 X86 仿真环境中的应用开发能力,在不方便使用开发板的情况下,允许您在仿真环境快速完成程序的调试和计算结果的验证。

C++ 推理

使用 UCP 推理接口进行验证代码的开发,支持推理 quantized.bc 模型及 hbm 模型。UCP 仿真库接口与嵌入式接口完全一致,只是采用了不同的编译配置。UCP 推理接口使用示例请参考 模型推理应用开发指导 章节。

命令行工具

使用 X86 版本的 hrt_model_exec 工具进行模型信息查看和单帧推理,支持推理 quantized.bc 模型及 hbm 模型。hrt_model_exec 详细介绍与使用示例请参考 hrt_model_exec工具介绍 章节。

Python 推理

  • 使用 horizon_tc_ui 包封装的 HBRuntime 接口,支持推理 quantized.bc 模型及 hbm 模型。推理示例请参考 HBRuntime推理库 章节。

  • 使用 hbdk API 接口,支持推理 quantized.bc 模型及 hbm 模型。API 详细介绍与使用示例请参考 HBDK Tool API Reference 章节。

注解
  • J6 工具链在 X86 端支持 hbm 模型指令仿真,但效率较低,所以更推荐使用 quantized.bc 模型进行推理,其定点部分和 hbm 模型数值二进制一致,浮点部分可能存在架构本身差异,但通常对精度影响可忽略不计。

  • X86 仿真环境使用 UCP 推理接口或 hrt_model_exec 工具推理 hbm 模型前,需要设置 HB_UCP_SIM_PLATFORM_TYPE 环境变量用以指定要模拟的 BPU 架构。环境变量配置说明可参考 UCP环境变量 章节。

  • 使用 UCP 仿真库推理 quantized.bc 时支持 GPU 加速,配置方法请参考 HBIR模型推理说明 章节。