接口调用流程
动态AIPP场景下模型推理与开发基础推理应用的流程类似,都涉及pyACL初始化与去初始化、运行管理资源申请与释放、模型构建、模型加载、模型执行、模型卸载等。
本节中重点描述动态AIPP场景下模型推理与开发基础推理应用的不同之处:
- 模型构建时,需配置动态AIPP相关参数:
构建模型成功后,在生成的om模型中,会新增相应的输入(下文简称动态AIPP输入),在模型推理时通过该新增的输入提供具体的AIPP配置值。
例如,a输入的AIPP配置是动态的,在om模型中,会有与a对应的b输入来描述a的AIPP配置信息。在模型执行时,准备a输入的数据结构请参见准备模型执行的输入/输出数据结构,准备b输入的数据结构、设置b输入的数据请参见以下内容。
- 在执行模型推理前:
- 准备动态AIPP输入的数据结构:
- 申请动态AIPP输入对应的内存前,需要先调用acl.mdl.get_input_index_by_name接口根据输入名称(固定为“ascend_dynamic_aipp_data”)获取模型中标识该输入的index。
- 调用acl.mdl.get_input_size_by_index根据index获取输入内存大小。
- 调用acl.rt.malloc接口根据2中的大小申请内存。
申请动态AIPP输入对应的内存后,无需用户设置该内存中的数据(否则可能会导致业务异常),用户调用2中的接口后,系统会自动向该内存中填入数据。
- 调用acl.create_data_buffer接口创建aclDataBuffer类型的数据,用于存放动态AIPP输入数据的内存地址、内存大小。
- 调用acl.mdl.create_dataset接口创建aclmdlDataset类型的数据,并调用acl.mdl.add_dataset_buffer接口向aclmdlDataset类型的数据中增加aclDataBuffer类型的数据。
- 设置动态AIPP参数值:
图1 接口调用流程
- 调用acl.mdl.get_input_index_by_name接口根据输入名称(固定为“ACL_DYNAMIC_AIPP_NAME”)获取模型中标识该输入的index。
- 设置动态AIPP参数值。
- 调用acl.mdl.create_aipp接口创建aclmdlAIPP类型。
- 根据实际需求,调用aclmdlAIPP数据类型下的操作接口设置动态AIPP参数值。
- 动态AIPP场景下,acl.mdl.set_aipp_src_image_size接口(设置原始图片的宽和高)必须调用。
- 调用acl.mdl.set_input_aipp接口设置模型推理时的动态AIPP数据。
- 及时调用acl.mdl.destroy_aipp接口销毁aclmdlAIPP类型。
- 准备动态AIPP输入的数据结构:
pyACL还提供了基于DVPP(Digital Vision Pre-Processing)硬件进行媒体数据处理的功能,包括缩放、抠图、格式转换、图片编解码、视频编解码等,功能比AIPP丰富,但对于输入/输出图片、内存有一定的约束。
基于DVPP的媒体数据处理接口介绍,请参见媒体数据处理。
父主题: 模型动态AIPP推理