API接口开发方式（C++）

样例介绍

本样例以Atlas 200I/500 A2 推理产品，使用mxVision C++接口开发图像目标检测应用进行演示，图像目标检测模型推理流程图如图1所示。

样例取用TensorFlow框架YoloV3模型。模型的输入、输出数据格式参见如下。

• 输入数据：分辨率为416 * 416的RGB格式图片。
• 输出数据：识别目标的坐标、类别及其对应的置信度。

准备工作

1. 请先完成mxVision安装部署后，再进行快速入门样例。

   表1 环境要求软件依赖

   软件依赖名称	推荐版本	获取链接
   系统依赖	-	Ubuntu系统或CentOS系统
   CANN开发套件包	7.0.0	CANN获取链接。
   npu-driver驱动包	23.0.0	请参见版本配套表，根据实际硬件设备型号选择配套的驱动、固件。 请参见各硬件产品中驱动和固件安装升级指南获取对应的指导。
   npu-firmware固件包	23.0.0

2. 获取样例代码。本样例代码仅支持在Atlas 200I/500 A2 推理产品上运行。

   请访问获取链接，获取样例代码压缩包。

3. 以普通用户登录已安装mxVision的开发环境并将样例代码压缩包上传。
4. 解压样例代码压缩包，进入解压后的目录，命令参考如下。

   unzip YoloV3Infer.zip
   cd YoloV3Infer

   样例代码目录结构参考如下。

   YoloV3Infer
   ├── model
   │ ├── yolov3.names                        # yolov3后处理标签文件
   │ ├── yolov3_tf_bs1_fp16.cfg            # yolov3后处理配置文件
   │ ├── aipp_yolov3_416_416.aippconfig  # yolov3 om模型aipp转换文件
   │ ├── yolov3_tf_bs1_fp16.om             # yolov3 om模型，需要自行下载pb文件转换
   ├── main.cpp                  # 主程序文件
   ├── CMakeLists.txt           
   ├── run.sh                     # 运行程序的脚本
   ├── README.md                 
   ├── test.jpg                  # 测试用图片，需要用户自行准备

5. 准备用于推理的模型。

   用户可参考模型转换功能（ATC）转换om模型进行推理，具体转换方法请参考4解压目录中“README.md”的“模型获取”章节，该参考样例使用到的om模型为使用了AIPP预处理配置的模型。

6. 准备用于推理的图片数据。

   用户需使用自行获取的图片进行测试（请将获取的图片名称更名为“test.jpg”），以下图片为展示用途。

   图2 test.jpg
   

代码解析

在该样例中，关键步骤与代码参考如下，不可以直接拷贝编译运行，完整样例代码请参考样例文件。

1. 初始化资源，配置模型相关变量，如图片路径、模型路径、配置文件路径、标签路径等。

   // 初始化资源和变量
   const uint32_t YOLOV3_RESIZE = 416; // 图片缩放大小
   
   std::string yolov3ModelPath = "./model/yolov3_tf_bs1_fp16.om"; // 模型路径
   std::string yolov3ConfigPath = "./model/yolov3_tf_bs1_fp16.cfg"; // 后处理配置文件路径
   std::string yolov3LabelPath = "./model/yolov3.names"; // 后处理标签文件路径
   
   v2Param.deviceId = 0; // 配置
   v2Param.labelPath = yolov3LabelPath;
   v2Param.configPath = yolov3ConfigPath;
   v2Param.modelPath = yolov3ModelPath;
   APP_ERROR ret = MxInit();

2. 对输入数据进行前处理。执行MxInit初始化资源，同时初始化ImageProcessor对象后，解码图片，得到Image对象，再进行相应的图片缩放，之后将其转化为推理所需要的数据格式（Tensor类型）。

   // 前处理 
   //构建图像处理类
   MxBase::ImageProcessor imageProcessor(deviceId); 
   
   //构建解码后的图像类
   MxBase::Image decodedImage;
   //根据图像路径进行解码
   ret = imageProcessor.Decode(imgPath, decodedImage, ImageFormat::YUV_SP_420);
   
   MxBase::Image resizeImage;
   //缩放尺寸
   Size resizeConfig(YOLOV3_RESIZE, YOLOV3_RESIZE);
   //执行缩放
   ret = imageProcessor.Resize(decodedImage, resizeConfig, resizeImage, Interpolation::HUAWEI_HIGH_ORDER_FILTER);
   
   std::string path = "./resized_yolov3_416.jpg";
   //编码缩放后的图片，并输出到指定路径
   ret = imageProcessor.Encode(resizeImage, path);
   
   //转换Image对象为Tensor
   Tensor tensorImg = resizeImage.ConvertToTensor();
   //设置Tensor所在设备编号
   ret = tensorImg.ToDevice(deviceId);

3. 构建模型类后，输入前处理构建的Tensor对象，执行Infer接口，之后得到模型输出结果yoloV3Outputs。

   // 模型推理 
   // 构建模型类
   MxBase::Model yoloV3(modelPath, deviceId);
   
   //构造Infer接口入参Batch Tensor
   std::vector<Tensor> yoloV3Inputs = {tensorImg};
   //执行模型推理
   std::vector<Tensor> yoloV3Outputs = yoloV3.Infer(yoloV3Inputs);

4. 对模型输出进行后处理。利用mxVision提供的后处理插件（也可自行开发），可得到目标检测框及其目标类别，并通过opencv将其在原图上呈现。

   // 后处理 
   //后处理原图信息
   ImageInfo imageInfo;
   imageInfo.oriImagePath = argv[1];
   imageInfo.oriImage = decodedImage;
   //执行后处理函数
   ret = YoloV3PostProcess(imageInfo, v2Param.configPath, v2Param.labelPath, yoloV3Outputs);
   
   //YoloV3PostProcess后处理函数主要逻辑
   //创建后处理配置信息
   std::map<std::string, std::string> postConfig;
   postConfig.insert(pair<std::string, std::string>("postProcessConfigPath", yoloV3ConfigPath));
   postConfig.insert(pair<std::string, std::string>("labelPath", yoloV3LablePath));
   
   //初始化后处理类
   Yolov3PostProcess yolov3PostProcess;
   APP_ERROR ret = yolov3PostProcess.Init(postConfig);
   
   //后处理
   vector<TensorBase> tensors;
   //依据模型推理结果构建目标检测信息，该信息为mxVision已实现后处理函数必备数据
   //若后处理函数为用户自定义，需按照实际情况构造
   vector<vector<ObjectInfo>> objectInfos;
   auto shape = yoloV3Outputs[0].GetShape();
   MxBase::ResizedImageInfo imgInfo;
   //缩放前图像宽
   imgInfo.widthOriginal = imageInfo.oriImage.GetOriginalSize().width;
   //缩放前图像高
   imgInfo.heightOriginal = imageInfo.oriImage.GetOriginalSize().height;
   //缩放后图像宽
   imgInfo.widthResize = YOLOV3_RESIZE;
   //缩放后图像高
   imgInfo.heightResize = YOLOV3_RESIZE;
   //图像缩放方式
   imgInfo.resizeType = MxBase::RESIZER_STRETCHING;
   std::vector<MxBase::ResizedImageInfo> imageInfoVec = {};
   imageInfoVec.push_back(imgInfo);
   //执行后处理
   ret = yolov3PostProcess.Process(tensors, objectInfos, imageInfoVec);
   //利用opencv实现目标检测框可视化
   cv::putText(imgBgr, objectInfos[i][j].className, cv::Point(x0 + 10, y0 + 10), cv::FONT_HERSHEY_SIMPLEX, 1.0, cv::Scalar(0, 255,0), 4, 8);
      cv::rectangle(imgBgr, cv::Rect(x0, y0, x1 - x0, y1 - y0), cv::Scalar(0, 255, 0), 4);
   //模型后处理去初始化
   ret = yolov3PostProcess.DeInit();

5. 去初始化，释放资源。

   // 去初始化 
   ret = MxBase::MxDeInit();
   if (ret != APP_ERR_OK) {
       LogError << "MxDeInit failed, ret=" << ret << ".";
       return ret;
   }

运行推理

1. 配置环境变量（以CANN的默认安装路径“/usr/local/Ascend/ascend-toolkit”和mxVision的安装路径/usr/local/Ascend/mxVision-{version}为例）。

   source /usr/local/Ascend/ascend-toolkit/set_env.sh
   source /usr/local/Ascend/mxVision-{version}/set_env.sh

2. 运行推理（运行该脚本前，需根据mxVision安装路径修改CMakeLists.txt文件中的MX_SDK_HOME变量）。

   bash run.sh

   如返回如下信息，则表示运行成功。

   yoloV3Outputs len=3
   ******YoloV3PostProcess******
   Size of objectInfos is 1
   objectInfo-0 ,Size:1
   
   *****objectInfo-0:0
   x0 is 306.2
   y0 is 21.9771
   x1 is 708.318
   y1 is 481.023
   confidence is 0.934635
   classId is 16
   className is dog
   ******YoloV3PostProcess end******

   推理完成后，在当前文件夹下生成“result.jpg”文件，图片结果如图3所示。

   图3 result.jpg文件