下载
中文
注册

模型推理

  1. root用户远程登录开发者套件,将在PC训练模型获得的压缩包上传到开发者套件,上传方法可参见Windows与开发者套件的文件传输,进入目录执行解压操作。
    tar -xvf edge_infer.tar 
  2. 进入文件目录执行以下命令将Windows格式文件转换为Unix、Linux格式。
    cd edge_infer/ && dos2unix `find .` 

    若提示命令dos2unix not found,请使用命令安装。

    • Ubuntu22.04版本镜像:
      apt install dos2unix
    • OpenEuler22.03版本镜像:
      yum install dos2unix
  3. 设置环境变量。
    # MindX SDK环境变量、CANN环境变量:
    . ${SDK-path}/set_env.sh
    . ${ascend-toolkit-path}/set_env.sh
    # 示例:
    Ubuntu OS:
    . /usr/local/Ascend/ascend-toolkit/set_env.sh
    . /usr/local/Ascend/mxVision/set_env.sh
    openEuler OS:
    . /usr/local/Ascend/ascend-toolkit/set_env.sh
    . $HOME/Ascend/mxVision/set_env.sh  
  4. 进入解压缩目录,执行模型转换命令转换yolact_edge模型。
    # om 模型转换命令
    atc --framework=5 --model=./model.onnx --input_format=NCHW --input_shape="actual_input_1:1,3,96,96" --output=model_bs1 --log=error --soc_version=Ascend310B4

    模型转换成功回显如下:

    ATC start working now, please wait for a moment.
    ....................ATC run success, welcome to the next use.

    --model:解压的文件夹中onnx模型文件名称。

    --output:输出om模型的名称。

    --framework:5代表ONNX模型,默认不修改。

    --log:表示日志级别,默认不修改。

    --soc_version:处理器型号,默认不修改。

  5. 执行推理,有图片文件夹推理、视频推理两种方式,进入edge_infer/infer/sdk目录执行。
    • 图片文件夹推理:
      # 进入推理目录
      cd infer/sdk 
      # 执行推理脚本
      bash build.sh

      推理成功回显如下:

      ============================================================
      The Mean IOU is 0.877106922632009
      pre_t   66.9802725315094 ms
      infer_t 13.050675392150879 ms
      post_t  161.10479831695557 ms
      total_t 241.13574624061584 ms

      推理结果:命令执行成功后会在当前目录下生成infer_result文件夹,可查看推理后图片结果。

      推理结果图如图1所示。

      图1 查看推理结果
    • 视频推理:
      用户可自行准备视频,命名为 video.mp4,上传到 edge_infer/sample_data 目录,并执行以下命令。
      # 进入推理目录
      cd infer/sdk 
      # 执行推理脚本
      bash build_video.sh

      推理结果:推理后视频结果保存在 infer_result/video.mp4。