描述文件参数说明

compile_flag

INT32

该参数废弃，不建议使用，后续版本将会删除。

编译类型。取值如下：

• 0：表示进行精确编译。精确编译是指按照用户指定的维度信息、在编译时系统内部不做任何转义直接编译，其中，AI CPU算子不受该标记影响。
• 1：表示进行模糊编译。模糊编译是指对于支持动态Shape的算子，在编译时系统内部对可变维度做了泛化后再进行编译。如果用户无法获取算子的Shape范围，又想编译一次达到多次执行推理的目的时，可以使用模糊编译特性。

默认值为0。

使用约束：当前仅支持transformer网络模型涉及的算子。

否

op

string

算子类型。

是

name

string

单算子模型文件的名称。

如果不设置name参数，则模型文件名的命名规则默认为：序号_opType_输入的描述(dataType_format_shape)_输出的描述(dataType_format_shape)，例如，0_Add_3_2_3_3_3_2_3_3_3_2_3_3.om。

dataType以及format对应枚举值请从${INSTALL_DIR}/include/graph/types.h文件中查看，枚举值依次递增。其中，${INSTALL_DIR}请替换为CANN软件安装后文件存储路径。例如，若安装的Ascend-cann-toolkit软件包，则安装后文件存储路径为：$HOME/Ascend/ascend-toolkit/latest。

否

input_desc

TensorDesc数组

算子输入描述。

是

output_desc

TensorDesc数组

算子输出描述。

是

attr

Attr数组

算子属性。

否

dynamic_input

string

可选。动态输入，取值必须和算子信息库中该算子定义的输入name相同。

该参数用于设置算子动态输入的分组与动态输入的个数，例如算子原型定义中某算子的动态输入为：

.DYNAMIC_INPUT(x,...)

.DYNAMIC_INPUT(y,...)

则表示动态输入有两组，分别为x，y。每一组的输入个数，根据dynamic_input的个数确定。具体设置原则可以参见TensorDesc数组中name参数的说明。

• 如果构造的单算子描述文件中已经设置过name参数，则该参数可选。
• 如果构造的单算子描述文件中没有name参数，则该参数必填。
• 如果同时存在dynamic_input和name参数，则以name参数设置的为准。

format

string

必填。Tensor的排布格式，配置为算子原始框架支持的Format。

当前支持的Format格式以及对应的枚举如下：

• NCHW: 0
• NHWC: 1
• ND: 2，表示支持任意格式。
• NC1HWC0: 3，5维数据格式。其中，C0与微架构强相关，该值等于cube单元的size，例如16；C1是将C维度按照C0切分：C1=C/C0。如果结果不整除，向上取整。
• FRACTAL_Z: 4，用于定义卷积权重的数据格式，由FT Matrix（FT：Filter，卷积核）变换得到。FRACTAL_Z是送往Cube的最终数据格式，采用“C1HW,N1,N0,C0”的4维数据排布。数据有两层Tiling，如下图所示：

  

  第一层与Cube的Size相关，数据按照列的方向连续（小n）；第二层与矩阵的Size相关，数据按照行的方向连续（大Z）。

• FRACTAL_NZ: 29，分形格式，如Feature Map的数据存储，在cube单元计算时，输出矩阵的数据格式为NW1H1H0W0。整个矩阵被分为（H1*W1）个分形，按照column major排布，形状如N字形；每个分形内部有（H0*W0）个元素，按照row major排布，形状如z字形。考虑到数据排布格式，将NW1H1H0W0数据格式称为Nz格式。其中，H0,W0表示一个分形的大小，示意图如下所示：

  

• RESERVED: 40，当存在可选输入，且可选输入没有输入数据时，则必须将可选输入的format配置为RESERVED，同时将type配置为UNDEFINED；若可选输入有输入数据时，则按其输入数据的format、type配置即可。

模型转换完毕，上述format在对应om文件名中以对应的枚举呈现，例如若输入为NHWC格式，则展示为1。

origin_format

string

可选。Tensor的原始Format。

不带此字段时，默认Tensor的实现Format与原始Format一致。

name

string

可选。Tensor的名称。算子的输入为动态输入时，需要设置该字段。

该参数用于设置每一组动态输入中，具体输入的名称，每一个输入名称为算子原型中定义的输入名称+编号，编号根据dynamic_input的个数确定，从0开始依次递增。

• 如果构造的单算子描述文件中已经设置过dynamic_input参数，则该参数可选。
• 如果构造的单算子描述文件中没有dynamic_input参数，则该参数必填。
• 如果同时存在dynamic_input和name参数，则以name参数设置的为准。

shape

int数组

必填。Tensor的Shape，例如[1, 224, 224, 3]，实际Shape乘积不能超过int32最大值（2147483647）。

• 静态Shape场景：

  Shape维度以及取值都为固定值，该场景下不需要再配置shape_range参数。

• Shape为常量场景：

  如果希望指定算子输入、输出Shape为标量，则该参数需要设置为"[]"形式，比如"shape": []。该场景下不需要再配置shape_range参数。

• 动态Shape场景，Shape取值有如下场景：
  • Shape维度确定，但是某一维度的取值不确定，则该不确定的维度取值设置为“-1”，例如[16,-1,20,-1]，该场景下还需要与shape_range参数配合使用，用于给出“-1”维度的取值范围。例如：

            "shape": [-1,16],
            "shape_range": [[0,32]],

  • Shape维度也不确定，该场景下Shape取值为“-2”，例如"shape": [-2]，该场景下不需要配置shape_range参数（当前版本暂不支持）。

  动态Shape算子执行场景下，算子执行环境中的算子库包安装版本需与算子模型编译环境的版本一致，否则在加载算子时会报错。详情可参见算子库包版本问题导致加载单算子失败

origin_shape

string

可选。Tensor的原始Shape。

不带此字段时，默认Tensor的实现Shape与原始Shape一致。

type

string

必填。Tensor的数据类型，支持的type以及对应的枚举如下：

• bool: 12
• int8: 2
• uint8: 4
• int16: 6
• uint16: 7
• int32: 3
• uint32: 8
• int64: 9
• uint64: 10
• float16/fp16/half: 1
• float/float32: 0
• double: 11
• complex32: 33
• complex64: 16
• complex128: 17
• uint1: 30
• bfloat16: 27
• int4: 29
• UNDEFINED: 28，当存在可选输入，且可选输入没有输入数据时，则必须将可选输入的type配置为UNDEFINED，同时将format配置为RESERVED；若可选输入有输入数据时，则按其输入数据的format、type配置即可。

模型转换完毕，上述type在对应om文件名中以对应的枚举呈现，例如若输入为int8类型，则展示为2。

shape_range

int[2]数组

可选。Shape为动态时（不包括-2场景），unknow shape的取值范围。

例如，若Shape取值为[16,-1,20,-1]：其中的-1表示unknow shape。

shape_range取值为[1,128],[1,-1]：[1,128]表示从1到128的取值范围，对应Shape参数中第一个-1；[1,-1]表示从1到无穷大的取值范围，对应Shape参数中第二个-1。

is_const

bool

可选，表示输入是否为常量。

• true：常量。
• false：默认值，非常量。

const_value

list

可选，常量取值。

当前仅支持一维list配置，list中具体配置个数由Shape取值决定。例如，Shape取值为2，则const_value中列表个数为2。

取值类型由type决定，假设type取值为float16，则单算子编译时会自动将const_value中的取值转换为float16格式的取值。

name

string

必填。属性名。

type

string

必填。属性值的类型，支持的类型有：

• bool
• int
• float
• string
• list_bool
• list_int
• list_float
• list_string
• list_list_int
• data_type

value

由type的取值决定

必填。属性值，根据type不同，属性值不同，举例如下：

• bool: true/false
• int: 10
• float: 1.0
• string:“NCHW”
• list_bool: [false, true]
• list_int: [1, 224, 224, 3]
• list_float: [1.0, 0.0]
• list_string: ["str1","str2"]
• list_list_int: [[1, 3, 5, 7], [2, 4, 6, 8]]
• data_type: "DT_FLOAT"或该枚举值对应的数字，例如0。

  其他取值请参见${INSTALL_DIR}/include/graph/types.h中DataType的枚举值或枚举值对应的数字。其中，${INSTALL_DIR}请替换为CANN软件安装后文件存储路径。例如，若安装的Ascend-cann-toolkit软件包，则安装后文件存储路径为：$HOME/Ascend/ascend-toolkit/latest。