总体说明
整体功能说明
- 本手册中媒体数据处理V1版本与媒体数据处理V2版本的接口功能范围相同，都是描述处理媒体数据的接口，用于实现抠图、图片缩放、格式转换等功能，但两套接口不能混用。
- 建议使用V2版本中的接口，保证后续版本接口功能以及业务的连续演进。
- V1版本中的接口是为了兼容旧版本，保证使用该部分接口的用户能继续使用，后续版本不再演进。
当前已有的媒体数据处理功能如表1所示。
昇腾310 AI处理器支持VPC、JPEGD、JPEGE、VDEC、VENC、PNGD功能。
昇腾910 AI处理器支持VPC、JPEGD、JPEGE、VDEC、PNGD功能。
。
功能 |
功能 |
|---|---|
VPC（Vision Preprocessing Core） |
负责图像处理功能，支持对图片做抠图、缩放、叠加、拼接、格式转换等操作，详细描述请参见功能及约束说明。 |
JPEGD（JPEG Decoder） |
负责完成图像解码功能，将.jpg、.jpeg、.JPG、.JPEG图片解码成YUV格式图片，详细描述请参见功能及约束说明。 |
JPEGE（JPEG Encoder） |
负责完成图像编码功能，将YUV格式图片编码成.jpg图片，详细描述请参见功能及约束说明。 |
VDEC（Video Decoder） |
负责视频解码，详细描述请参见功能及约束说明。 |
VENC（Video Encoder） |
负责视频编码，详细描述请参见功能及约束说明。 |
PNGD（PNG decoder） |
负责PNG格式图片的解码，详细描述请参见功能及约束说明。 |
整体约束说明
使用本章中介绍的接口，有以下注意点：
- 关于异步接口：
对于本章介绍的异步接口，调用接口成功仅表示任务下发成功，不表示任务执行成功，对于有依赖的接口，为确保能按序执行任务，建议用户在多个接口中指定同一个stream，因为同一个stream中的任务按接口调用顺序执行。
在调用异步口对图片进行解码、抠图、缩放等操作时，如果任务之间有依赖，一定要调用aclrtSynchronizeStream接口确保在同一个Stream中的任务按序执行。
从性能角度考虑，建议一个stream上下发多个异步媒体数据处理任务后，执行一次aclrtSynchronizeStream接口。
调用异步接口后，不能马上释放资源，需调用同步等待接口（例如，aclrtSynchronizeStream）确保Device侧任务执行完成后才能释放。
- 关于内存申请/释放：
实现媒体数据处理的VPC、JPEGD、JPEGE等功能前，若需要申请Device上的内存存放输入或输出数据，需调用acldvppMalloc申请内存、调用acldvppFree接口释放内存。