总体功能及约束说明
多版本接口差异
本手册中媒体数据处理V1版本与媒体数据处理V2版本的接口都是描述处理媒体数据的接口,用于实现视频编解码、图像编解码、图像处理等功能,但两套接口不能混用。
- V2版本的功能比V1版本更多,如下:
- JPEGE:V2版本接口支持高级的参数配置,如huffman表配置。
- VENC:V2版本接口支持更加细化的码控参数配置和效果调优,如I/P帧QP、宏块码控等。
- VDEC:V2版本接口支持更细化的内存控制,如设置输入码流缓存。
- 视频数据获取功能(ISP系统控制&MIPI命令字&VI功能):仅V2版本接口支持。
- VPSS视频处理:仅V2版本接口支持。
- 音频相关功能,包括录音、播音、音量调节:仅V2版本接口支持。
- 视频数据展示功能(VO功能&HDMI外设):仅V2版本接口支持。
- 建议使用V2版本中的接口,保证后续版本接口功能以及业务的连续演进。
- V1版本中的接口是为了兼容旧版本,保证使用该部分接口的用户能继续使用,后续版本不再演进。
图像/视频/音频数据处理的典型功能介绍
图1 图像/视频数据处理
各功能的介绍如下表所示,昇腾AI处理器对这些功能的支持度请参见各版本功能支持度说明(AIPP当前各版本均支持)。
功能支持度说明
昇腾AI处理器对媒体数据处理V2版本各功能的支持度如下表所示。
各标识的含义如下:
- √:支持。
- x:不支持。
昇腾AI处理器 |
VPC |
JPEGD |
JPEGE |
PNGD |
VDEC |
VENC |
视频数据获取 |
VPSS视频处理 |
音频功能(录音/播音/音量调节) |
视频数据展示 |
区域管理 |
---|---|---|---|---|---|---|---|---|---|---|---|
Atlas 200/300/500 推理产品 |
x |
x |
x |
x |
x |
x |
x |
x |
x |
x |
x |
Atlas 训练系列产品 |
x |
x |
x |
x |
x |
x |
x |
x |
x |
x |
x |
Atlas 推理系列产品 |
√ |
√ |
√ |
√ |
√ |
√ |
x |
x |
x |
x |
x |
Atlas 200I/500 A2推理产品 |
√ |
√ |
√ |
√ |
√ |
√ |
√ |
√ |
√ |
√ |
√ |
Atlas A2训练系列产品/Atlas 800I A2推理产品 |
√ |
√ |
√ |
√ |
√ |
x |
x |
x |
x |
x |
x |
整体约束说明
使用本章中介绍的接口,有以下注意点:
- 关于内存申请/释放:
- 实现媒体数据处理的VPC、JPEGD、JPEGE等功能前,若需要申请内存存放输入或输出数据,需调用hi_mpi_dvpp_malloc申请内存、调用hi_mpi_dvpp_free接口释放内存。如果多个功能串联使用的场景,需要复用同一段内存,则按最大内存要求来申请内存。
- 调用1申请出来的内存可以满足媒体数据处理的要求,也可以在其它任务中使用,例如,从性能角度,为了减少拷贝,媒体数据处理的输出作为模型推理的输入,实现内存复用。
- 但由于媒体数据处理访问的地址空间有限,为确保媒体数据处理时内存足够,除媒体数据处理功能外的其它功能(例如,模型加载),建议调用内存管理章节下的aclrtMalloc接口、或aclrtMallocHost接口、或aclrtMallocCached接口申请内存。
针对Atlas 推理系列产品:媒体数据处理功能在每个进程内,可访问的地址空间最大为16GB。
针对Atlas A2训练系列产品/Atlas 800I A2推理产品:媒体数据处理功能在每个进程内,可访问的地址空间最大为16GB。
- 关于通道的要求:
实现媒体数据处理的各功能前,必须调用接口创建对应功能的通道,请分别参见VPC图像处理功能、VDEC视频解码功能/JPEGD图片解码功能、VENC视频编码功能/JPEGE图片编码功能、PNGD图片解码功能章节下的通道创建与销毁接口,查看接口说明以及通道数的最大限制。
通道的创建与销毁会涉及资源的申请与释放,反复创建与销毁通道会影响业务性能,因此建议根据实际场景管理通道,例如,如果有持续VPC图片处理,则创建VPC的通道后,等到所有VPC功能调用完成后,再销毁该VPC通道。
通道数量多,会影响Device的CPU占用率和内存占用,通道数量建议参考各功能章节下的性能指标的路数。
- 本章节描述结构体、枚举值等,预留的字段需要手动设置为0,避免后续版本的兼容性问题。
父主题: 媒体数据处理V2