X86 仿真
工具链支持在 X86 仿真环境中的应用开发能力,在不方便使用开发板的情况下,允许您在仿真环境快速完成程序的调试和计算结果的验证。
C++ 推理
使用 UCP 推理接口进行验证代码的开发,支持推理 quantized.bc 模型及 hbm 模型。UCP 仿真库接口与嵌入式接口完全一致,只是采用了不同的编译配置。UCP 推理接口使用示例请参考 模型推理应用开发指导 章节。
命令行工具
使用 X86 版本的 hrt_model_exec 工具进行模型信息查看和单帧推理,支持推理 quantized.bc 模型及 hbm 模型。hrt_model_exec 详细介绍与使用示例请参考 hrt_model_exec工具介绍 章节。
Python 推理
-
使用
horizon_tc_ui包封装的HBRuntime接口,支持推理 quantized.bc 模型及 hbm 模型。推理示例请参考 HBRuntime推理库 章节。 -
使用
hbdk API接口,支持推理 quantized.bc 模型及 hbm 模型。API 详细介绍与使用示例请参考 HBDK Tool API Reference 章节。
-
J6 工具链在 X86 端支持 hbm 模型指令仿真,但效率较低,所以更推荐使用 quantized.bc 模型进行推理,其定点部分和 hbm 模型数值二进制一致,浮点部分可能存在架构本身差异,但通常对精度影响可忽略不计。
-
X86 仿真环境使用
UCP推理接口或hrt_model_exec工具推理 hbm 模型前,需要设置HB_UCP_SIM_PLATFORM_TYPE环境变量用以指定要模拟的 BPU 架构。环境变量配置说明可参考 UCP环境变量 章节。 -
使用
UCP仿真库推理 quantized.bc 时支持 GPU 加速,配置方法请参考 HBIR模型推理说明 章节。
