运行管理资源申请与释放

基本原理

您需要按顺序依次申请如下运行管理资源：Device、Stream，确保可以使用这些资源执行运算、管理任务。所有数据处理都结束后，需要按顺序依次释放Stream、Device等运行管理资源。

其中，创建Stream的方式分为隐式创建和显式创建，其适用场景有所不同：

• 隐式创建Stream：适合简单、无复杂交互逻辑的应用，但缺点在于，在多线程编程中，每个线程都使用默认Stream，默认Stream中任务的执行顺序取决于操作系统线程调度的顺序。
• 显式创建Stream：适合大型、复杂交互逻辑的应用，且便于提高程序的可读性、可维护性。

• 关于多线程、多Stream的场景请参见Stream管理。

运行管理资源申请流程

图1 运行管理资源申请流程

关键接口的说明如下：

申请运行管理资源时，需按顺序依次申请：Device、Stream。

1. 调用acl.rt.set_device接口指定用于运算的Device，同时该接口也会隐式创建默认Context、默认Stream。但需遵循以下约束：
   • 一个Device对应一个默认Context，默认Context不能通过acl.rt.destroy_context接口来释放。
   • 一个Device对应一个默认Stream，默认Stream不能通过acl.rt.destroy_stream接口来释放。
   • 默认Context、默认Stream，是在调用acl.rt.reset_device接口后自动释放。
2. 若使用默认Stream作为接口入参时，直接传0，若不使用默认Stream，可调用acl.rt.create_stream接口显式创建Stream。
3. （可选）调用acl.rt.get_run_mode接口获取软件栈的运行模式，根据运行模式来判断后续的内存申请接口调用逻辑。

   如果查询结果为ACL_HOST，则数据传输时涉及申请Host上的内存。

   如果查询结果为ACL_DEVICE，则数据传输时仅需申请Device上的内存。

   数据传输的详细介绍请参见数据传输。

运行管理资源释放流程

图2 运行管理资源释放流程

关键接口的说明如下：

示例代码

调用接口后，需增加异常处理的分支，并记录报错日志、提示日志，此处不一一列举。以下是关键步骤的代码示例，不可以直接拷贝运行，仅供参考。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22

import acl
#......

# ======运行管理资源申请======
# 1.指定运算的Device。
ret = acl.rt.set_device(device_id)



# 2.显式创建一个Stream。
#用于维护一些异步操作的执行顺序，确保按照应用程序中的代码调用顺序执行任务。
stream, ret = acl.rt.create_stream()
# ======运行管理资源申请======

#......

# ======运行管理资源释放======
ret = acl.rt.destroy_stream(stream)
ret = acl.rt.reset_device(device_id)
# ======运行管理资源释放======

#......