运行管理资源申请与释放

开发应用时,应用程序中必须包含运行管理资源申请的代码逻辑,关于运行管理资源申请的接口调用流程,请先参见AscendCL接口调用流程了解整体流程,再查看本节中的资源申请、释放流程说明。

基本原理

您需要按顺序依次申请如下运行管理资源:DeviceContextStream,确保可以使用这些资源执行运算、管理任务。所有数据处理都结束后,需要按顺序依次释放运行管理资源:StreamContextDevice

您需要按照Device、Context、Stream的顺序依次申请。其中,创建Context、Stream的方式分为隐式创建和显式创建,其适用场景有所不同:

运行管理资源申请流程

图1 运行管理资源申请流程

关键接口的说明如下:

  1. 申请运行管理资源时,需按顺序依次申请:DeviceContextStream
    • 调用aclrtSetDevice接口显式指定用于运算的Device。
      • 调用aclrtCreateContext接口显式创建Context,调用aclrtCreateStream接口显式创建Stream。
      • 如果不显式创建Context和Stream,您可以使用aclrtSetDevice接口隐式创建的默认Context和默认Stream,但默认Context和默认Stream存在如下限制:
        • 一个Device对应一个默认Context,默认Context不能通过aclrtDestroyContext接口来释放。
        • 一个Device对应一个默认Stream,默认Stream不能通过aclrtDestroyStream接口来释放。默认Stream作为接口入参时,直接传NULL。
        • 默认Context、默认Stream,是在调用aclrtResetDevice接口后自动释放。
    • 隐式指定用于运算的Device。

      调用aclrtCreateContext接口显式创建Context,调用aclrtCreateStream接口显式创建Stream。系统在显式创建Context时,系统内部会调用aclrtSetDevice接口指定运行的Device,Device ID通过aclrtCreateContext接口传入。

  2. (可选)调用aclrtGetRunMode接口获取软件栈的运行模式,根据运行模式来判断后续的内存申请接口调用逻辑。

    如果查询结果为ACL_HOST,则数据传输时涉及申请Host上的内存。

    如果查询结果为ACL_DEVICE,则数据传输时仅需申请Device上的内存。

    数据传输的详细介绍请参见数据传输

运行管理资源释放流程

图2 运行管理资源释放流程

关键接口的说明如下:

示例代码

您可以从样例介绍中获取完整样例代码。

调用接口后,需增加异常处理的分支,并记录报错日志、提示日志,此处不一一列举。以下是关键步骤的代码示例,不可以直接拷贝编译运行,仅供参考。

// 初始化变量
extern bool g_isDevice;

// =====运行管理资源申请=====
// 指定运算的Device
aclError ret = aclrtSetDevice(deviceId_);

// 显式创建一个Context,用于管理Stream对象
ret = aclrtCreateContext(&context_, deviceId_);

// 显式创建一个Stream
// 用于维护一些异步操作的执行顺序,确保按照应用程序中的代码调用顺序执行任务
ret = aclrtCreateStream(&stream_);

// 获取当前昇腾AI软件栈的运行模式,根据不同的运行模式,后续的接口调用方式不同

aclrtRunMode runMode;
ret = aclrtGetRunMode(&runMode);
g_isDevice = (runMode == ACL_DEVICE);
// =====运行管理资源申请=====

// ......

// =====运行管理资源释放=====
ret = aclrtDestroyStream(stream_);
ret = aclrtDestroyContext(context_);
ret = aclrtResetDevice(deviceId_);
// =====运行管理资源释放=====

// ......