接口调用流程

模型执行

关键接口的说明如下：

1. 调用aclmdlCreateDesc接口创建描述模型基本信息的数据类型。
2. 调用aclmdlGetDesc接口根据接口调用流程中返回的模型ID获取模型基本信息。
3. 准备模型执行的输入、输出数据结构，具体流程，请参见准备模型执行的输入/输出数据结构。

   如果模型的输入涉及动态Batch、动态分辨率、动态AIPP、动态维度（ND格式）等特性，请参见模型动态Shape输入推理、模型动态AIPP推理。

4. 执行模型推理。

   对于固定的多Batch场景，需要满足batch size后，才能将输入数据发送给模型进行推理。不满足batch size时，用户需根据自己的实际场景处理。

   当前系统支持模型的同步推理和异步推理：

   • 同步推理时调用aclmdlExecute接口
   • 异步推理时调用aclmdlExecuteAsync接口

     对于异步接口，还需调用aclrtSynchronizeStream接口阻塞应用程序运行，直到指定Stream中的所有任务都完成。

     异步推理的详细介绍，请参见模型异步推理。

5. 获取模型推理的结果，用于后续处理。
   • 对于同步推理，直接获取模型推理的输出数据即可。
   • 对于异步推理，在实现Callback功能时，在回调函数内获取模型推理的结果，供后续使用。
6. 释放内存。

   调用aclrtFree接口释放Device上的内存。

7. 释放相关数据类型的数据。

   在模型推理结束后，需依次调用aclDestroyDataBuffer接口、aclmdlDestroyDataset接口及时释放描述模型输入、输出数据类型的数据。如果存在多个输入、输出，需调用多次aclDestroyDataBuffer接口。

准备模型执行的输入/输出数据结构

AscendCL提供了以下数据类型来描述模型、描述其输入输出以及存放数据的内存，在模型执行前，需要构造好这些数据类型，作为模型执行的输入：

• 使用aclmdlDesc类型的数据描述模型基本信息（例如输入/输出的个数、名称、数据类型、Format、维度信息等）。

  模型加载成功后，用户可根据模型的ID，调用aclmdlGetDesc接口获取该模型的描述信息，进而从模型的描述信息中获取模型输入/输出的个数、内存大小、维度信息、Format、数据类型等信息，可参见aclmdlDesc类型下的操作接口。

• 使用aclmdlDataset类型的数据描述模型的输入/输出数据，模型可能存在多个输入、多个输出。

  调用aclmdlDataset类型下的操作接口添加aclDataBuffer类型的数据、获取aclDataBuffer的个数等。

• 每个输入/输出的内存地址、内存大小用aclDataBuffer类型的数据来描述。

  调用aclDataBuffer类型下的操作接口获取内存地址、内存大小等。

了解相关的数据类型后，可以使用这些数据类型的操作接口准备模型的输入、输出数据结构，如下图所示。

关键说明如下：

• 模型存在多个输入、输出时，用户可调用aclmdlGetNumInputs、aclmdlGetNumOutputs接口获取输入、输出的个数。
• 模型每个输入、输出所需的内存大小，用户可调用aclmdlGetInputSizeByIndex、aclmdlGetOutputSizeByIndex接口获取。

  如果模型的输入涉及动态Batch、动态分辨率、动态维度（ND格式）等特性，输入tensor数据的Shape支持多种档位，在模型执行前才能确定，因此该输入所需的内存大小建议用户调用aclmdlGetInputSizeByIndex接口获取，该接口获取的是最大档位的内存，确保内存够用。

• 模型存在多个输入、输出时，用户在向aclmdlDataset中添加aclDataBuffer时，为避免顺序出错，可以先调用aclmdlGetInputNameByIndex、aclmdlGetOutputNameByIndex接口获取输入、输出的名称，根据输入、输出名称所对应的index的顺序添加。