媒体数据处理基础知识

DVPP图像/视频数据处理的典型使用场景

如果源图或视频的分辨率、格式等与模型的要求不一致时，我们可以将源图或视频处理成符合模型的要求。如下为典型场景的举例。

• 视频解码、缩放。

  使用Yolov3模型实现目标检测的场景下，用户提供的输入视频为H264/H265编码格式、分辨率为1920*1080，但Yolov3模型要求的输入图片格式为RGB/YUV、分辨率为416*416，两者不一致，此时可对视频执行以下一系列处理。

  图1 视频解码、缩放使用场景图
  
• 图片解码、缩放、格式转换。

  使用Resnet50模型实现图片分类的场景下，用户提供的输入图片为JPEG编码格式、分辨率为1280*720，但Resnet50模型要求的输入图片格式为RGB、分辨率为224*224，两者不一致，此时可对图片执行以下一系列处理。

  图2 图片解码、缩放、格式转换使用场景图
  
• 抠图、缩放、格式转换。

  使用Resnet50模型实现图片分类的场景下，用户提供的输入图片格式为YUV420SP、分辨率为1280*720，但Resnet50模型要求的输入图片格式为RGB、分辨率为224*224，两者不一致，此时对图片执行以下一系列处理。

  图3 抠图、缩放、格式转换使用场景图
  

媒体数据处理功能开发流程

图4 开发流程

1. 准备环境。

   请参见应用开发环境准备。

2. 创建代码目录。

   在开发应用前，您需要先创建目录，存放代码文件、脚本、测试图片数据、模型文件等。

3. （可选）构建模型。

   模型推理场景下，必须要有适配昇腾AI处理器的离线模型（*.om文件），请参见模型构建。

   

   如果应用中涉及模型推理，则需要构建模型。

4. 开发应用。

   如果应用中涉及模型推理，请参见模型推理基本场景、扩展更多特性编写相应的代码。

5. 运行应用，请参见应用调试。