模型推理
- 以root用户远程登录开发者套件,将在PC训练模型获得的压缩包上传到开发者套件,上传方法可参见Windows与开发者套件的文件传输,进入目录执行解压操作。
tar -xvf edge_infer.tar
- 进入文件目录执行以下命令将Windows格式文件转换为Unix、Linux格式。
cd edge_infer/ && dos2unix `find .`
若提示命令dos2unix not found,请使用命令安装。
- Ubuntu22.04版本镜像:
apt install dos2unix
- OpenEuler22.03版本镜像:
yum install dos2unix
- Ubuntu22.04版本镜像:
- 设置环境变量。
# MindX SDK环境变量、CANN环境变量: . ${SDK-path}/set_env.sh . ${ascend-toolkit-path}/set_env.sh # 示例: Ubuntu OS: . /usr/local/Ascend/ascend-toolkit/set_env.sh . /usr/local/Ascend/mxVision/set_env.sh openEuler OS: . /usr/local/Ascend/ascend-toolkit/set_env.sh . $HOME/Ascend/mxVision/set_env.sh
- 进入解压缩目录,执行模型转换命令转换yolact_edge模型。
# om 模型转换命令 atc --framework=5 --model=./model.onnx --input_format=NCHW --input_shape="actual_input_1:1,3,96,96" --output=model_bs1 --log=error --soc_version=Ascend310B4
模型转换成功回显如下:
ATC start working now, please wait for a moment. ....................ATC run success, welcome to the next use.
--model:解压的文件夹中onnx模型文件名称。
--output:输出om模型的名称。
--framework:5代表ONNX模型,默认不修改。
--log:表示日志级别,默认不修改。
--soc_version:处理器型号,默认不修改。
- 执行推理,有图片文件夹推理、视频推理两种方式,进入edge_infer/infer/sdk目录执行。
- 图片文件夹推理:
# 进入推理目录 cd infer/sdk # 执行推理脚本 bash build.sh
推理成功回显如下:
============================================================ The Mean IOU is 0.877106922632009 pre_t 66.9802725315094 ms infer_t 13.050675392150879 ms post_t 161.10479831695557 ms total_t 241.13574624061584 ms
推理结果:命令执行成功后会在当前目录下生成infer_result文件夹,可查看推理后图片结果。
推理结果图如图1所示。
- 视频推理:
用户可自行准备视频,命名为 video.mp4,上传到 edge_infer/sample_data 目录,并执行以下命令。
# 进入推理目录 cd infer/sdk # 执行推理脚本 bash build_video.sh
推理结果:推理后视频结果保存在 infer_result/video.mp4。
- 图片文件夹推理:
父主题: 构建图像分割应用