文档
注册

动态维度(ND格式)

基本原理

若模型推理时包含动态维度(ND格式)特性,在模型推理时,需调用pyACL提供的接口设置模型推理时需使用的维度值,模型支持哪些维度值已提前在构建模型时配置(使用ATC工具的“dynamic_dims”参数)。

ATC工具的参数说明请参见ATC工具使用指南

示例代码

调用接口后,需增加异常处理的分支,示例代码中不一一列举。以下是关键步骤的代码示例,不可以直接拷贝运行,仅供参考。
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
import acl
# ......

# 1.模型加载,加载成功后,再设置动态维度。
# ......

# 2.准备模型描述信息model_desc,准备模型的输入数据input_dataset和模型的输出数据output_dataset。
# ......

# 3.自定义函数,设置动态维度。
def model_set_dynamic_info():
    # 3.1 获取动态维度输入的index,标识动态维度输入的输入名称固定为“ascend_mbatch_shape_data”。
    index, ret = acl.mdl.get_input_index_by_name(model_desc, "ascend_mbatch_shape_data")
    # 3.2 设置具体档位信息,包括维度数dimCount和各个维度的数值,model_id表示加载成功的模型的ID,input_dataset表示aclmdlDataset类型的数据,index表示标识动态维度输入的输入index。
    current_dims = {'name': '', 'dimCount': 4, 'dims': [8, 3, 224, 224]}
    ret = acl.mdl.set_input_dynamic_dims(mode_id, input_dataset, index, current_dims)
    # ......

# 4.自定义函数,执行模型。
def ModelExecute(int index):
    # 4.1 调用自定义函数,设置动态维度。
    ret = model_set_dynamic_info()
    # 4.2 执行模型,model_id表示加载成功的模型的ID,input_dataset和output_dataset分别表示模型的输入和输出。
    ret = acl.mdl.execute(model_id, input_dataset, output_dataset)
    # ......

# 5.处理模型推理结果。
# ......
搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词