模型构建
对于开源框架的网络模型(如ONNX、TensorFlow等),不能直接在昇腾AI处理器上做推理,需要先使用ATC(Ascend Tensor Compiler)工具将开源框架的网络模型转换为适配昇腾AI处理器的离线模型(*.om文件)。
此处以ONNX框架的ResNet-50网络为例,说明如何使用ATC工具进行模型转换,详细说明请参见《ATC工具使用指南》。
- 以运行用户登录开发环境。
- 执行模型转换。
执行以下命令,将原始模型转换为昇腾AI处理器能识别的*.om模型文件。请注意,执行命令的用户需具有命令中相关路径的可读、可写权限。以下命令中的“<SAMPLE_DIR>”请根据实际样例包的存放目录替换、“<soc_version>”请根据实际昇腾AI处理器版本替换。
cd <SAMPLE_DIR>/MyFirstApp_ONNX/model wget https://obs-9be7.obs.cn-east-2.myhuaweicloud.com/003_Atc_Models/resnet50/resnet50.onnx atc --model=resnet50.onnx --framework=5 --output=resnet50 --input_shape="actual_input_1:1,3,224,224" --soc_version=<soc_version>
各参数的解释如下,详细约束说明请参见《ATC工具使用指南》。
- --model:ResNet-50网络的模型文件的路径。
- --framework:原始框架类型。5表示ONNX。
- --output:resnet50.om模型文件的路径。请注意,记录保存该om模型文件的路径,后续开发应用时需要使用。
- --input_shape:模型输入数据的shape。
- --soc_version:昇腾AI处理器的版本。
如果无法确定当前设备的soc_version,则在安装NPU驱动包的服务器执行npu-smi info命令进行查询,在查询到的“Name”前增加Ascend信息,例如“Name”对应取值为xxxyy,实际配置的soc_version值为Ascendxxxyy。
- (后续处理)如果想快速体验直接使用转换后的om离线模型文件进行推理,请准备好环境、om模型文件、符合模型输入要求的*.bin格式的输入数据,单击Link,获取msame工具,参考该工具配套的README,进行体验。
- 如果模型转换时,提示有不支持的算子,请先参见《Ascend C算子开发指南》先完成自定义算子,再重新转换模型。
- 如果模型转换时,提示有算子编译相关问题,但根据报错信息无法定位问题、需要联系技术支持时(请获取日志后单击Link联系技术支持。),则需设置DUMP_GE_GRAPH、DUMP_GRAPH_LEVEL环境变量,再重新模型转换,收集模型转换过程中各个阶段的图描述信息。关于环境变量以及图描述信息的说明,请参见《ATC工具使用指南》中的“参考>dump图详细信息”。
- 如果模型的输入Shape是动态,关于模型构建、模型推理的说明请参见模型动态Shape输入推理。
- 如果现有网络不满足您的需求,您可以使用昇腾AI处理器支持的算子、调用Ascend Graph接口自行构建自己的网络,再编译成om离线模型文件。详细说明请参见《Ascend Graph开发指南》。
父主题: 模型推理