简介
本章主要介绍图像/视频/音频数据处理的具体功能、接口调用流程以及示例代码。
图像/视频/音频数据处理的典型功能介绍
- |
处理方式 |
描述 |
|---|---|---|
获取视频数据 |
ISP系统控制 |
系统控制部分用于注册3A算法、注册Sensor驱动、初始化ISP firmware、运行ISP firmware、退出ISP firmware、配置ISP属性等功能。 |
MIPI Rx ioctl命令字 |
MIPI Rx是一个支持多种差分视频输入接口的采集单元，通过combo-PHY接收MIPI/LVDS/sub-LVDS/HiSPi接口的数据，通过不同的功能模式配置，MIPI Rx可以支持多种速度和分辨率的数据传输需求，支持多种外部输入设备。 |
|
VI（Vedio Input） |
VI模块捕获视频图像，可对其做裁剪、防抖、颜色优化、亮度优化、噪声去除等处理，并输出YUV或RAW格式的图像数据。 |
|
展示视频数据 |
VO（Vedio Output） |
VO模块接收VPSS处理后的输出图像，可进行播放控制等处理，最后按用户配置的输出协议输出给外围视频设备。 |
HDMI（High Definition Multimedia Interfac） |
HDMI是全数字化影像和声音发送接口，可以发送未压缩的音频及视频信号。 |
|
图像/视频数据处理 |
VPSS（Video Process Sub-System） |
VPSS模块支持对输入图像进行统一预处理，如去噪、去隔行、裁剪等，然后再对各通道分别进行处理，如缩放、加边框等。 |
AIPP（Artificial Intelligence Pre-Processing） |
AIPP（Artificial Intelligence Pre-Processing）人工智能预处理，在AI Core上完成数据预处理，主要功能包括改变图像尺寸（抠图、填充等）、色域转换（转换图像格式）、减均值/乘系数（改变图像像素）等。
AIPP区分为静态AIPP和动态AIPP。您只能选择静态AIPP或动态AIPP方式来处理图片，不能同时配置静态AIPP和动态AIPP两种方式。
|
|
DVPP（Digital Vision Pre-Processing） |
DVPP（Digital Vision Pre-Processing）是昇腾AI处理器内置的图像处理单元，通过AscendCL媒体数据处理接口提供强大的媒体处理硬加速能力，主要功能包括以下功能：
说明：
AIPP、DVPP可以分开独立使用，也可以组合使用。组合使用场景下，一般先使用DVPP对图片/视频进行解码、抠图、缩放等基本处理，但由于DVPP硬件上的约束，DVPP处理后的图片格式、分辨率有可能不满足模型的要求，因此还需要再经过AIPP进一步做色域转换、抠图、填充等处理。 |
|
音频数据获取和输出 |
AI（Audio Input） |
AI模块捕获音频数据 。 |
AO（Audio Output） |
通过ADEC模块解码后的音频数据，AO模块支持播放其音频。 |
DVPP图像/视频数据处理的典型使用场景
如果源图或视频的分辨率、格式等与模型的要求不一致时，我们可以将源图或视频处理成符合模型的要求。如下为典型场景的举例。
- 视频解码、缩放
使用Yolov3模型实现目标检测的场景下，用户提供的输入视频为H264/H265编码格式、分辨率为1920*1080，但Yolov3模型要求的输入图片格式为RGB/YUV、分辨率为416*416，两者不一致，此时可对视频执行以下一系列处理。
图2 视频解码、缩放使用场景图
- 图片解码、缩放、格式转换
使用Resnet50模型实现图片分类的场景下，用户提供的输入图片为JPEG编码格式、分辨率为1280*720，但Resnet50模型要求的输入图片格式为RGB、分辨率为224*224，两者不一致，此时可对图片执行以下一系列处理。
图3 图片解码、缩放、格式转换使用场景图
- 抠图、缩放、格式转换
使用Resnet50模型实现图片分类的场景下，用户提供的输入图片格式为YUV420SP、分辨率为1280*720，但Resnet50模型要求的输入图片格式为RGB、分辨率为224*224，两者不一致，此时对图片执行以下一系列处理。
图4 抠图、缩放、格式转换使用场景图
