session配置参数说明

graph_run_mode

图执行模式，取值：

• 0：在线推理场景下，请配置为0。
• 1：训练场景下，请配置为1，默认为1。

配置示例：

custom_op.parameter_map["graph_run_mode"].i = 1

训练/在线推理

session_device_id

当用户需要将不同的模型通过同一个脚本在不同的Device上执行，可以通过该参数指定Device的逻辑ID。

通常可以为不同的图创建不同的Session，并且传入不同的session_device_id。

配置示例：

config_0 = tf.ConfigProto()
custom_op = config_0.graph_options.rewrite_options.custom_optimizers.add()
custom_op.name = "NpuOptimizer"
custom_op.parameter_map["session_device_id"].i = 0
config_0.graph_options.rewrite_options.remapping = RewriterConfig.OFF
config_0.graph_options.rewrite_options.memory_optimization = RewriterConfig.OFF
with tf.Session(config=config_0) as sess_0:
    sess_0.run(...)

config_1 = tf.ConfigProto()
custom_op = config_1.graph_options.rewrite_options.custom_optimizers.add()
custom_op.name = "NpuOptimizer"
custom_op.parameter_map["session_device_id"].i = 1
config_1.graph_options.rewrite_options.remapping = RewriterConfig.OFF
config_1.graph_options.rewrite_options.memory_optimization = RewriterConfig.OFF
with tf.Session(config=config_1) as sess_1:
    sess_1.run(...)

config_7 = tf.ConfigProto()
custom_op = config_7.graph_options.rewrite_options.custom_optimizers.add()
custom_op.name = "NpuOptimizer"
custom_op.parameter_map["session_device_id"].i = 7
config_7.graph_options.rewrite_options.remapping = RewriterConfig.OFF
config_7.graph_options.rewrite_options.memory_optimization = RewriterConfig.OFF
with tf.Session(config=config_7) as sess_7:
    sess_7.run(...)

训练/在线推理

deterministic

是否开启确定性计算，开启确定性开关后，算子在相同的硬件和输入下，多次执行将产生相同的输出。

此配置项有以下两种取值：

• 0：默认值，不开启确定性计算。
• 1：开启确定性计算。

默认情况下，无需开启确定性计算。因为开启确定性计算后，算子执行时间会变慢，导致性能下降。在不开启确定性计算的场景下，多次执行的结果可能不同。这个差异的来源，一般是因为在算子实现中，存在异步的多线程执行，会导致浮点数累加的顺序变化。

但当发现模型执行多次结果不同，或者精度调优时，可以通过此配置开启确定性计算辅助进行调试调优。需要注意，如果希望有完全确定的结果，在训练脚本中需要设置确定的随机数种子，保证程序中产生的随机数也都是确定的。

配置示例：

custom_op.parameter_map["deterministic"].i = 1

训练/在线推理

atomic_clean_policy

是否集中清理网络中所有atomic算子占用的内存，取值包括：

• 0：集中清理，默认为0。
• 1：单独清理，对网络每一个atomic算子进行单独清零。当网络中内存超限时，可尝试此种清理方式，但可能会导致一定的性能损耗。

配置示例：

custom_op.parameter_map["atomic_clean_policy"].i = 1

训练/在线推理

static_memory_policy

默认值是0，配置示例：

custom_op.parameter_map["static_memory_policy"].i = 0

训练/在线推理

external_weight

若网络中的weight占用内存较大，且模型加载环境内存受限时，建议通过此配置项将网络中Const/Constant节点的权重外置，防止由于内存不足导致模型编译加载出错。

• False：权重不外置，保存在图中，默认为False。
• True：权重外置，将网络中所有Const/Constant节点的权重文件落盘。

  若环境中未配置环境变量ASCEND_WORK_PATH，则权重文件落盘至当前执行目录“tmp_weight_<pid>_<sessionid>”下，并将Const/Constant类型转换为FileConstant；模型卸载时，自动卸载“tmp_weight_<pid>_<sessionid>”目录下的权重文件。

  若环境中配置了环境变量ASCEND_WORK_PATH，则权重文件会落盘至${ASCEND_WORK_PATH}_<pid>_<sessionid>目录下，关于ASCEND_WORK_PATH的详细说明，可参见《环境变量参考》。

说明：一般场景下不需要配置此参数，针对模型加载环境有内存限制的场景，可以将权重外置。

custom_op.parameter_map["external_weight"].b = True

训练/在线推理

input_shape

输入的shape信息。

配置示例：

custom_op.parameter_map["input_shape"].s = tf.compat.as_bytes("data:1,1,40,-1;label:1,-1;mask:-1,-1")

上面示例中表示网络中有三个输入，输入的name分别为data，label，mask，各输入的shape分别为（1,1,40,-1），（1,-1），（-1,-1），name和shape之间以英文冒号分隔。其中-1表示该维度上为动态档位，需要通过dynamic_dims设置动态档位参数。

配置注意事项：

• input_shape中输入的name需要与实际data节点的name的字母顺序保持一致，比如有三个输入：label、data、mask，则input_shape输入顺序应该为data、label、mask
• 如果网络即有dataset输入也有placeholder输入，由于当前仅支持一种输入为动态的场景（例如dataset输入为动态），此时仅需填写dataset所有输入的shape信息。
• 如果输入中包含标量，则需要填写为0。

在线推理

dynamic_dims

输入的对应维度的档位信息。档位中间使用英文分号分隔，每档中的dim值与input_shape参数中的-1标识的参数依次对应，input_shape参数中有几个-1，则每档必须设置几个维度。并且要求档位信息必须大于1组。

input_shape和dynamic_dims这两个参数的分档信息能够匹配，否则报错退出。

配置示例：

custom_op.parameter_map["dynamic_dims"].s = tf.compat.as_bytes("20,20,1,1;40,40,2,2;80,60,4,4")

结合上面举例的input_shape信息，表示支持输入的shape为：

• 第0档：data(1,1,40,20)，label(1,20)，mask(1,1)
• 第1档：data(1,1,40,40)，label(1,40)，mask(2,2)
• 第2档：data(1,1,40,80)，label(1,60)，mask(4,4)

在线推理

dynamic_node_type

指定动态输入的节点类型。

• 0：dataset输入为动态输入。
• 1：placeholder输入为动态输入。

当前不支持dataset和placeholder输入同时为动态输入。

custom_op.parameter_map["dynamic_node_type"].i = 0

在线推理

mix_compile_mode

是否开启混合计算模式。

• True：开启。
• False：关闭，默认关闭。

计算全下沉模式即所有的计算类算子全部在Device侧执行，混合计算模式作为计算全下沉模式的补充，将部分不可离线编译下沉执行的算子留在前端框架中在线执行，提升昇腾AI处理器支持TensorFlow的适配灵活性。

配置示例：

custom_op.parameter_map["mix_compile_mode"].b =  True

训练/在线推理

in_out_pair_flag

混合计算场景下，指定in_out_pair中的算子是否下沉到昇腾AI处理器，取值：

• True：下沉，默认为True。
• False：不下沉。

配置示例：

custom_op.parameter_map['in_out_pair_flag'].b = False

在线推理

in_out_pair

混合计算场景下，配置下沉/不下沉部分的首尾算子名。

配置示例：

# 开启混合计算
custom_op.parameter_map["mix_compile_mode"].b = True

# 如下配置，将in_nodes, out_nodes范围内的算子全部下沉到昇腾AI处理器执行
in_nodes.append('import/conv2d_1/convolution')
out_nodes.append('import/conv2d_59/BiasAdd')
out_nodes.append('import/conv2d_67/BiasAdd')
out_nodes.append('import/conv2d_75/BiasAdd')
all_graph_iop.append([in_nodes, out_nodes])
custom_op.parameter_map['in_out_pair'].s = tf.compat.as_bytes(str(all_graph_iop))

# 或者通过如下配置，将in_nodes, out_nodes范围内的算子不下沉，全部留在前端框架执行
in_nodes.append('import/conv2d_1/convolution')
out_nodes.append('import/conv2d_59/BiasAdd')
out_nodes.append('import/conv2d_67/BiasAdd')
out_nodes.append('import/conv2d_75/BiasAdd')
all_graph_iop.append([in_nodes, out_nodes])
custom_op.parameter_map['in_out_pair_flag'].b = False
custom_op.parameter_map['in_out_pair'].s = tf.compat.as_bytes(str(all_graph_iop))

在线推理

enable_exception_dump

是否dump异常算子的输入和输出数据，dump信息生成在当前脚本执行目录。

• 0：关闭，默认为0。
• 1：开启。

custom_op.parameter_map["enable_exception_dump"].i = 1

训练

op_debug_config

Global Memory内存检测功能开关。

取值为.cfg配置文件路径，配置文件内多个选项用英文逗号分隔：

• oom：在算子执行过程中，检测Global Memory是否内存越界。

  算子编译时会在当前执行路径下的kernel_meta文件夹中保留.o（算子二进制文件）和.json文件（算子描述文件），并加入如下检测逻辑：

  inline __aicore__ void  CheckInvalidAccessOfDDR(xxx) {
      if (access_offset < 0 || access_offset + access_extent > ddr_size) {
          if (read_or_write == 1) {
              trap(0X5A5A0001);
          } else {
              trap(0X5A5A0002);
          }
      }
  }

  用户可配合使用dump_cce参数，在生成的.cce文件中查看上述代码。

  编译过程中，若存在内存越界，会抛出“EZ9999”错误码。

• dump_bin：算子编译时，在当前执行路径下的kernel_meta文件夹中保留.o和.json文件
• dump_cce：算子编译时，在当前执行路径下的kernel_meta文件夹中保留算子的cce文件*.cce，以及.o（算子二进制文件）和.json文件（算子描述文件）。
• dump_loc：算子编译时，在当前执行路径下的kernel_meta文件夹中保留python-cce映射文件*_loc.json
• ccec_O0：算子编译时，开启ccec编译器的默认编译选项-O0，此编译选项针对调试信息不会执行任何优化操作
• ccec_g ：算子编译时，开启ccec编译器的编译选项-g，此编译选项相对于-O0，会生成优化调试信息
• check_flag：算子执行时，检测算子内部流水线同步信号是否匹配。

  算子编译时，在生成的kernel_meta文件夹中保留.o（算子二进制文件）和.json文件（算子描述文件），并加入如下检测逻辑：

    set_flag(PIPE_MTE3, PIPE_MTE2, EVENT_ID0);
    set_flag(PIPE_MTE3, PIPE_MTE2, EVENT_ID1);
    set_flag(PIPE_MTE3, PIPE_MTE2, EVENT_ID2);
    set_flag(PIPE_MTE3, PIPE_MTE2, EVENT_ID3);
    ....
    pipe_barrier(PIPE_MTE3);
    pipe_barrier(PIPE_MTE2);
    pipe_barrier(PIPE_M);
    pipe_barrier(PIPE_V);
    pipe_barrier(PIPE_MTE1);
    pipe_barrier(PIPE_ALL);
    wait_flag(PIPE_MTE3, PIPE_MTE2, EVENT_ID0);
    wait_flag(PIPE_MTE3, PIPE_MTE2, EVENT_ID1);
    wait_flag(PIPE_MTE3, PIPE_MTE2, EVENT_ID2);
    wait_flag(PIPE_MTE3, PIPE_MTE2, EVENT_ID3);
    ...

  用户可配合使用dump_cce参数，在生成的.cce文件中查看上述代码。

  编译过程中，若存在算子内部流水线同步信号不匹配的情况，会在有问题的算子处超时报错，报错信息示例为：

  Aicore kernel execute failed, ..., fault kernel_name=算子名,...
  rtStreamSynchronizeWithTimeout execute failed....

配置示例：

custom_op.parameter_map["op_debug_config"].s = tf.compat.as_bytes("/root/test0.cfg")

其中，test0.cfg文件信息为：

op_debug_config = ccec_O0,ccec_g,oom

训练/在线推理

debug_dir

用于配置保存算子编译生成的调试相关的过程文件的路径，包括算子.o/.json/.cce等文件。

算子编译生成的调试文件存储优先级为：

配置参数“debug_dir” > 环境变量ASCEND_WORK_PATH > 默认存储路径（当前脚本执行路径）。

关于环境变量ASCEND_WORK_PATH的详细说明可参见《环境变量参考》。

配置示例：

custom_op.parameter_map["debug_dir"].s = tf.compat.as_bytes("/home/test")

训练/在线推理

precision_mode

算子精度模式，配置要求为string类型。

• allow_fp32_to_fp16：对于矩阵类算子，使用float16；对于矢量类算子，优先保持原图精度，如果网络模型中算子支持float32，则保留原始精度float32，如果网络模型中算子不支持float32，则直接降低精度到float16。
• force_fp16：算子既支持float16又支持float32数据类型时，强制选择float16。此参数仅适用于在线推理场景。
• cube_fp16in_fp32out/force_fp32：算子既支持float16又支持float32数据类型时，系统内部根据算子类型的不同，选择合适的处理方式。配置为force_fp32或cube_fp16in_fp32out，效果等同，cube_fp16in_fp32out为新版本中新增配置，对于矩阵计算类算子，该选项语义更清晰。
  • 对于矩阵计算类算子，系统内部会按算子实现的支持情况处理：
    1. 优先选择输入数据类型为float16且输出数据类型为float32。
    2. 如果1中的场景不支持，则选择输入数据类型为float32且输出数据类型为float32。
    3. 如果2中的场景不支持，则选择输入数据类型为float16且输出数据类型为float16。
    4. 如果以上场景都不支持，则报错。
  • 对于矢量计算类算子，如果网络模型中算子同时支持float16和float32，强制选择float32，若原图精度为float16，也会强制转为float32。如果网络模型中存在部分算子，并且该算子实现不支持float32，比如某算子仅支持float16类型，则该参数不生效，仍然使用支持的float16；如果该算子不支持float32，且又配置了混合精度黑名单（precision_reduce = false），则会使用float32的AI CPU算子。
• must_keep_origin_dtype：保持原图精度。如果原图中某算子精度为float16，但NPU中该算子实现不支持float16、仅支持float32，则系统内部自动采用高精度float32；如果原图中某算子精度为float32，但NPU中该算子实现不支持float32、仅支持float16，此场景下不能使用此参数值，系统不支持使用低精度。
• allow_mix_precision_fp16/allow_mix_precision：开启自动混合精度功能，表示混合使用float16和float32数据类型来处理神经网络的过程。

  配置为allow_mix_precision或allow_mix_precision_fp16，效果等同，其中allow_mix_precision_fp16为新版本中新增配置，语义更清晰，便于理解。针对全网中float32数据类型的算子，系统会按照内置优化策略自动将部分float32的算子降低精度到float16，从而在精度损失很小的情况下提升系统性能并减少内存使用。开启该功能开关后，用户可以同时使能Loss Scaling，从而补偿降低精度带来的精度损失。

• allow_mix_precision_bf16：开启自动混合精度功能，表示混合使用bfloat16和float32数据类型来处理神经网络的过程。针对网络模型中float32数据类型的算子，按照内置的优化策略，自动将部分float32的算子降低精度到bfloat16，从而在精度损失很小的情况下提升系统性能并减少内存使用。如果算子不支持bfloat16和float32，则使用AI CPU算子进行计算，如果AI CPU算子也不支持，则执行报错。

  说明：仅在Atlas A2 训练系列产品场景下支持此配置。

• allow_fp32_to_bf16：对于矩阵计算类算子，使用bfloat16；对于矢量计算类算子，优先保持原图精度，如果网络模型中算子支持float32，则保留原始精度float32，如果网络模型中算子不支持float32，则直接降低精度到bfloat16，如果算子不支持bfloat16和float32，则使用AI CPU算子进行计算，如果AI CPU算子也不支持，则执行报错。

  说明：仅在Atlas A2 训练系列产品场景下支持此配置。

训练场景下，针对Atlas 训练系列产品，默认值为“allow_fp32_to_fp16”。

训练场景下，针对Atlas A2 训练系列产品，默认值为“must_keep_origin_dtype”。

在线推理场景下，默认值为“force_fp16”。

配置示例：

custom_op.parameter_map["precision_mode"].s = tf.compat.as_bytes("allow_mix_precision")

训练/在线推理

precision_mode_v2

算子精度模式，配置要求为string类型。

• fp16：算子既支持float16又支持float32数据类型时，强制选择float16。
• origin：保持原图精度。如果原图中某算子精度为float16，但NPU中该算子实现不支持float16、仅支持float32，则系统内部自动采用高精度float32；如果原图中某算子精度为float32，但NPU中该算子实现不支持float32、仅支持float16，此场景下不能使用此参数值，系统不支持使用低精度。
• cube_fp16in_fp32out：算子既支持float16又支持float32数据类型时，系统内部根据算子类型的不同，选择合适的处理方式。
  • 对于矩阵计算类算子，系统内部会按算子实现的支持情况处理：
    1. 优先选择输入数据类型为float16且输出数据类型为float32。
    2. 如果1中的场景不支持，则选择输入数据类型为float32且输出数据类型为float32。
    3. 如果2中的场景不支持，则选择输入数据类型为float16且输出数据类型为float16。
    4. 如果以上场景都不支持，则报错。
  • 对于矢量计算类算子，如果网络模型中算子同时支持float16和float32，强制选择float32，若原图精度为float16，也会强制转为float32。如果网络模型中存在部分算子，并且该算子实现不支持float32，比如某算子仅支持float16类型，则该参数不生效，仍然使用支持的float16；如果该算子不支持float32，且又配置了混合精度黑名单（precision_reduce = false），则会使用float32的AI CPU算子。
• mixed_float16：开启自动混合精度功能，表示混合使用float16和float32数据类型来处理神经网络的过程。

  针对网络中float32数据类型的算子，系统会按照内置优化策略自动将部分float32的算子降低精度到float16，从而在精度损失很小的情况下提升系统性能并减少内存使用。开启该功能开关后，用户可以同时使能Loss Scaling，从而补偿降低精度带来的精度损失。

训练场景下：针对Atlas 训练系列产品，该配置项无默认取值，以“precision_mode”参数的默认值为准，即“allow_fp32_to_fp16”。针对Atlas A2 训练系列产品，该配置项默认值为“origin”。

在线推理场景下：该配置项默认值为“fp16”。

配置示例：

custom_op.parameter_map["precision_mode_v2"].s = tf.compat.as_bytes("origin")

训练/在线推理

modify_mixlist

开启混合精度的场景下，开发者可通过此参数指定混合精度黑白灰名单的路径以及文件名，自行指定哪些算子允许降精度，哪些算子不允许降精度。

用户可以在脚本中通过配置“precision_mode”参数或者“precision_mode_v2”参数开启混合精度。

custom_op.parameter_map["modify_mixlist"].s = tf.compat.as_bytes("/home/test/ops_info.json")

ops_info.json中可以指定算子类型，多个算子使用英文逗号分隔，样例如下：

{
  "black-list": {                  // 黑名单
     "to-remove": [                // 黑名单算子转换为灰名单算子
     "Xlog1py"
     ],
     "to-add": [                   // 白名单或灰名单算子转换为黑名单算子
     "Matmul",
     "Cast"
     ]
  },
  "white-list": {                  // 白名单
     "to-remove": [                // 白名单算子转换为灰名单算子 
     "Conv2D"
     ],
     "to-add": [                   // 黑名单或灰名单算子转换为白名单算子
     "Bias"
     ]
  }
}

说明：上述配置文件样例中展示的算子仅作为参考，请基于实际硬件环境和具体的算子内置优化策略进行配置。

混合精度场景下算子的内置优化策略可在“OPP安装目录/opp/built-in/op_impl/ai_core/tbe/config/<soc_version>/aic-<soc_version>-ops-info.json”文件中查询，例如：

"Conv2D":{
    "precision_reduce":{
        "flag":"true"
},

• true：（白名单）允许将当前float32类型的算子，降低精度到float16。
• false：（黑名单）不允许将当前float32类型的算子，降低精度到float16。
• 不配置：（灰名单）当前算子的混合精度处理机制和前一个算子保持一致，即如果前一个算子支持降精度处理，当前算子也支持降精度；如果前一个算子不允许降精度，当前算子也不支持降精度。

训练/在线推理

customize_dtypes

使用precision_mode参数设置整个网络的精度模式时，可能会存在个别算子存在精度问题，此种场景下，可以使用customize_dtypes参数配置个别算子的精度模式，而模型中的其他算子仍以precision_mode指定的精度模式进行编译。需要注意，当precision_mode取值为“must_keep_origin_dtype”时，customize_dtypes参数不生效。

该参数需要配置为配置文件路径及文件名，例如：/home/test/customize_dtypes.cfg。

配置示例：

custom_op.parameter_map["customize_dtypes"].s = tf.compat.as_bytes("/home/test/customize_dtypes.cfg")

配置文件中列举需要自定义计算精度的算子名称或算子类型，每个算子单独一行，且算子类型必须为基于Ascend IR定义的算子的类型。对于同一个算子，如果同时配置了算子名称和算子类型，编译时以算子名称为准。

配置文件格式要求：

# 按照算子名称配置
Opname1::InputDtype:dtype1,dtype2,…OutputDtype:dtype1,…
Opname2::InputDtype:dtype1,dtype2,…OutputDtype:dtype1,…
# 按照算子类型配置
OpType::TypeName1:InputDtype:dtype1,dtype2,…OutputDtype:dtype1,…
OpType::TypeName2:InputDtype:dtype1,dtype2,…OutputDtype:dtype1,…

配置文件配置示例：

# 按照算子名称配置
resnet_v1_50/block1/unit_3/bottleneck_v1/Relu::InputDtype:float16,int8,OutputDtype:float16,int8
# 按照算子类型配置
OpType::Relu:InputDtype:float16,int8,OutputDtype:float16,int8

在线推理/训练

enable_dump

是否开启Data Dump功能，默认值：False。

• True：开启Data Dump功能，从dump_path读取Dump文件保存路径，dump_path为None时会产生异常。
• False：关闭Data Dump功能。

custom_op.parameter_map["enable_dump"].b = True

训练/在线推理

dump_mode

Data Dump模式，用于指定dump算子输入还是输出数据。取值如下：

• input：仅Dump算子输入数据
• output：仅Dump算子输出数据，默认为output。
• all：Dump算子输入和输出数据

配置示例：

custom_op.parameter_map["dump_mode"].s = tf.compat.as_bytes("all") 

训练/在线推理

enable_dump_debug

配置示例：

custom_op.parameter_map["enable_dump_debug"].b = True

训练

dump_debug_mode

溢出检测模式，取值如下：

• aicore_overflow：AI Core算子溢出检测，检测在算子输入数据正常的情况下，输出是否不正常的极大值（如float16下65500,38400,51200这些值）。一旦检测出这类问题，需要根据网络实际需求和算子逻辑来分析溢出原因并修改算子实现。
• atomic_overflow：Atomic Add溢出检测，即除了AICore之外，还有其他涉及浮点计算的模块，比如SDMA，检测这些部分出现的溢出问题。
• all：同时进行AI Core算子溢出检测和Atomic Add溢出检测。

配置示例：

custom_op.parameter_map["dump_debug_mode"].s = tf.compat.as_bytes("all") 

训练

dump_path

Dump文件保存路径。enable_dump或enable_dump_debug为true时，该参数必须配置。

该参数指定的目录需要在启动训练的环境上（容器或Host侧）提前创建且确保安装时配置的运行用户具有读写权限，支持配置绝对路径或相对路径（相对执行命令行时的当前路径）。

• 绝对路径配置以“/”开头，例如：/home/HwHiAiUser/output。
• 相对路径配置直接以目录名开始，例如：output。

配置示例：

custom_op.parameter_map["dump_path"].s = tf.compat.as_bytes("/home/HwHiAiUser/output")  

训练/在线推理

dump_step

指定采集哪些迭代的Data Dump数据。默认值：None，表示所有迭代都会产生dump数据。

多个迭代用“|”分割，例如：0|5|10；也可以用"-"指定迭代范围，例如：0|3-5|10。

配置示例：

custom_op.parameter_map["dump_step"].s = tf.compat.as_bytes("0|5|10")

训练

dump_data

指定算子dump内容类型，取值：

• tensor: dump算子数据，默认为tensor。
• stats: dump算子统计数据，结果文件为csv格式。

大规模训练场景下，通常dump数据量太大并且耗时长，可以先dump所有算子的统计数据，根据统计数据识别可能异常的算子，然后再指定dump异常算子的input或output数据。

配置示例：

custom_op.parameter_map["dump_data"].s = tf.compat.as_bytes("stats") 

训练/在线推理

dump_layer

指定需要dump的算子。取值为算子名，多个算子名之间使用空格分隔。若不配置此字段，默认dump全部算子。

配置示例：

custom_op.parameter_map["dump_layer"].s = tf.compat.as_bytes("nodename1 nodename2 nodename3") 

训练/在线推理

fusion_switch_file

融合开关配置文件路径以及文件名。

格式要求：支持大小写字母（a-z，A-Z）、数字（0-9）、下划线（_）、中划线（-）、句点（.）、中文字符。

系统内置了一些图融合和UB融合规则，均为默认开启，可以根据需要关闭指定的融合规则。

配置文件样例fusion_switch.cfg如下所示，on表示开启，off表示关闭。

{
    "Switch":{
        "GraphFusion":{
            "RequantFusionPass":"on",
            "ConvToFullyConnectionFusionPass":"off",
            "SoftmaxFusionPass":"on",
            "NotRequantFusionPass":"on",
            "SplitConvConcatFusionPass":"on",
            "ConvConcatFusionPass":"on",
            "MatMulBiasAddFusionPass":"on",
            "PoolingFusionPass":"on",
            "ZConcatv2dFusionPass":"on",
            "ZConcatExt2FusionPass":"on",
            "TfMergeSubFusionPass":"on"
        },
        "UBFusion":{
            "TbePool2dQuantFusionPass":"on"
        }
    }
}

同时支持用户一键关闭融合规则：

{
    "Switch":{
        "GraphFusion":{
            "ALL":"off"
        },
        "UBFusion":{
            "ALL":"off"
         }
    }
}

需要注意的是：

1. 由于关闭某些融合规则可能会导致功能问题，因此此处的一键式关闭仅关闭系统部分融合规则，而不是全部融合规则。
2. 一键式关闭融合规则时，可以同时开启部分融合规则：

   {
       "Switch":{
           "GraphFusion":{
               "ALL":"off",
               "SoftmaxFusionPass":"on"
           },
           "UBFusion":{
               "ALL":"off",
               "TbePool2dQuantFusionPass":"on"
           }
       }
   }

配置示例：

custom_op.parameter_map["fusion_switch_file"].s = tf.compat.as_bytes("/home/test/fusion_switch.cfg")

训练/在线推理

buffer_optimize

高级开关，是否开启buffer优化。

• l2_optimize：表示开启buffer优化，默认为l2_optimize。
• off_optimize：表示关闭buffer优化。

配置示例：

custom_op.parameter_map["buffer_optimize"].s = tf.compat.as_bytes("l2_optimize")

在线推理

use_off_line

是否在昇腾AI处理器执行训练。

• True：在昇腾AI处理器执行训练，默认为True。
• False：在Host侧的CPU执行训练。

配置示例：

custom_op.parameter_map["use_off_line"].b = True

训练/在线推理

profiling_mode

是否开启Profiling功能。

• True：开启Profiling功能，从profiling_options读取Profiling的采集选项。
• False：关闭Profiling功能，默认关闭。

custom_op.parameter_map["profiling_mode"].b = True

训练/在线推理

profiling_options

Profiling配置选项。

• output：Profiling采集结果文件保存路径。该参数指定的目录需要在启动训练的环境上（容器或Host侧）提前创建且确保安装时配置的运行用户具有读写权限，支持配置绝对路径或相对路径（相对执行命令行时的当前路径）。
  • 绝对路径配置以“/”开头，例如：/home/HwHiAiUser/output。
  • 相对路径配置直接以目录名开始，例如：output。
  • 该参数优先级高于ASCEND_WORK_PATH。
• storage_limit：指定落盘目录允许存放的最大文件容量。当Profiling数据文件在磁盘中即将占满本参数设置的最大存储空间（剩余空间<=20MB）或剩余磁盘总空间即将被占满时（总空间剩余<=20MB），则将磁盘内最早的文件进行老化删除处理。

  取值范围为[200, 4294967295]，单位为MB，例如--storage-limit=200MB，默认未配置本参数。

  未配置本参数时，默认取值为Profiling数据文件存放目录所在磁盘可用空间的90%。

• training_trace：采集迭代轨迹数据开关，即训练任务及AI软件栈的软件信息，实现对训练任务的性能分析，重点关注前后向计算和梯度聚合更新等相关数据。当采集正向和反向算子数据时该参数必须配置为on。
• task_trace、task_time：控制采集算子下发耗时和算子执行耗时的开关。涉及在task_time、op_summary、op_statistic等文件中输出相关耗时数据。配置值：
  • on：开启，默认值，和配置为l1的效果一样。
  • off：关闭。
  • l0：采集算子下发耗时、算子执行耗时数据。与l1相比，由于不采集算子基本信息数据，采集时性能开销较小，可更精准统计相关耗时数据。
  • l1：采集算子下发耗时、算子执行耗时数据以及算子基本信息数据，提供更全面的性能分析数据。

  当训练profiling mode开启即采集训练Profiling数据时，配置task_trace为on的同时training_trace也必须配置为on。

• hccl：控制hccl数据采集开关，可选on或off，默认为off。
• aicpu：采集AICPU算子的详细信息，如：算子执行时间、数据拷贝时间等。取值on/off，默认为off。如果将该参数配置为“on”和“off”之外的任意值，则按配置为“off”处理。
• fp_point：指定训练网络迭代轨迹正向算子的开始位置，用于记录前向计算开始时间戳。配置值为指定的正向第一个算子名字。用户可以在训练脚本中，通过tf.io.write_graph将graph保存成.pbtxt文件，并获取文件中的name名称填入；也可直接配置为空，由系统自动识别正向算子的开始位置，例如"fp_point":""。
• bp_point：指定训练网络迭代轨迹反向算子的结束位置，记录后向计算结束时间戳，BP_POINT和FP_POINT可以计算出正反向时间。配置值为指定的反向最后一个算子名字。用户可以在训练脚本中，通过tf.io.write_graph将graph保存成.pbtxt文件，并获取文件中的name名称填入；也可直接配置为空，由系统自动识别反向算子的结束位置，例如"bp_point":""。
• aic_metrics：AI Core和AI Vector Core的硬件信息，取值如下：
  • ArithmeticUtilization：各种计算类指标占比统计。
  • PipeUtilization： 计算单元和搬运单元耗时占比，该项为默认值。
  • Memory：外部内存读写类指令占比。
  • MemoryL0：内部内存读写类指令占比。
  • MemoryUB：内部内存读写指令占比。
  • ResourceConflictRatio：流水线队列类指令占比。
  • L2Cache：读写L2 Cache命中次数和缺失后重新分配次数，仅Atlas A2 训练系列产品支持该采集项。

  Atlas 训练系列产品：支持AI Core采集。

  Atlas A2 训练系列产品：支持AI Core和AI Vector Core采集。

  说明：

  支持自定义需要采集的寄存器，例如："aic_metrics":"Custom:0x49,0x8,0x15,0x1b,0x64,0x10"。

  • Custom字段表示自定义类型，配置为具体的寄存器值，取值范围为[0x1, 0x6E]。
  • 配置的寄存器数最多不能超过8个，寄存器通过“,”区分开。
  • 寄存器的值支持十六进制或十进制。
• l2：控制L2 Cache采样数据的开关，可选on或off，默认为off。
• msproftx：控制msproftx用户和上层框架程序输出性能数据的开关，可选on或off，默认值为off。

  Profiling开启msproftx功能之前，需要在程序内调用msproftx相关接口来开启程序的Profiling数据流的输出，详细操作请参见《应用软件开发指南（C&C++）》“扩展更多特性>Profiling性能数据采集”章节。

• runtime_api：控制runtime api性能数据采集开关，可选on或off，默认为off。可采集runtime-api性能数据，包括Host与Device之间、Device间的同步异步内存复制时延等。
• sys_hardware_mem_freq：DDR、HBM带宽采集频率、LLC的读写带宽数据采集频率以及acc_pmu数据和SOC传输带宽信息采集频率，取值范围为[1,100]，单位hz。
  • Atlas 训练系列产品：支持采集DDR、HBM、LLC。
  • Atlas A2 训练系列产品：支持采集HBM、LLC、acc_pmu数据、SoC传输带宽信息。
• llc_profiling：LLC Profiling采集事件，可以设置为：
  • Atlas 训练系列产品，可选read（读事件，三级缓存读速率）或write（写事件，三级缓存写速率），默认为read。
  • Atlas A2 训练系列产品，可选read（读事件，三级缓存读速率）或write（写事件，三级缓存写速率），默认为read。
• sys_io_sampling_freq：NIC、ROCE采集频率。取值范围为[1,100]，单位hz。
  • Atlas 训练系列产品：支持采集NIC和和ROCE。
  • Atlas A2 训练系列产品：支持采集NIC和ROCE。
• sys_interconnection_freq：集合通信带宽数据（HCCS）、PCIe数据采集频率以及片间传输带宽信息采集频率。取值范围为[1,50]，单位hz。
  • Atlas 训练系列产品：支持采集HCCS、PCIe数据。
  • Atlas A2 训练系列产品：支持采集HCCS、PCIe数据、片间传输带宽信息。
• dvpp_freq：DVPP采集频率。取值范围为[1,100]，单位hz。
• instr_profiling_freq：AI Core和AI Vector的带宽和延时采集频率。取值范围[300,30000]，单位cycle。仅Atlas A2 训练系列产品支持该参数。
  说明：

  instr_profiling_freq与training_trace、task_trace、hccl、aicpu、fp_point、bp_point、aic_metrics、l2、task_time、runtime_api互斥，无法同时执行。

• host_sys：Host侧性能数据采集开关。取值包括cpu和mem，可选其中的一项或多项，选多项时用英文逗号隔开，例如"host_sys": "cpu,mem"。
• host_sys_usage：采集Host侧系统及所有进程的CPU和内存数据。取值包括cpu和mem，可选其中的一项或多项，选多项时用英文逗号隔开。
• host_sys_usage_freq：配置Host侧系统和所有进程CPU、内存数据的采集频率。取值范围为[1,50]，默认值50，单位hz。

配置示例：

custom_op.parameter_map["profiling_options"].s = tf.compat.as_bytes('{"output":"/tmp/profiling","training_trace":"on","fp_point":"","bp_point":""}')

训练/在线推理

aoe_mode

通过AOE工具进行调优的调优模式。

• 1：子图调优。
• 2：算子调优。
• 4：梯度切分调优。

  在数据并行的场景下，使用allreduce对梯度进行聚合，梯度的切分方式与分布式训练性能强相关，切分不合理会导致反向计算结束后存在较长的通信拖尾时间，影响集群训练的性能和线性度。用户可以通过集合通信的梯度切分接口（set_split_strategy_by_idx或set_split_strategy_by_size）进行人工调优，但难度较高。因此，可以通过工具实现自动化搜索切分策略，通过在实际环境预跑采集性能数据，搜索不同的切分策略，理论评估出最优策略输出给用户，用户拿到最优策略后通过set_split_strategy_by_idx接口设置到该网络中。

配置示例：

custom_op.parameter_map["aoe_mode"].s = tf.compat.as_bytes("2")

训练

work_path

AOE工具调优工作目录，存放调优配置文件和调优结果文件，默认生成在训练当前目录下。

该参数类型为字符串，指定的目录需要在启动训练的环境上（容器或Host侧）提前创建且确保安装时配置的运行用户具有读写权限，支持配置绝对路径或相对路径（相对执行命令行时的当前路径）。

• 绝对路径配置以“/”开头，例如：/home/HwHiAiUser/output。
• 相对路径配置直接以目录名开始，例如：output。

配置示例：

custom_op.parameter_map["work_path"].s = tf.compat.as_bytes("/home/HwHiAiUser/output")

训练

aoe_config_file

通过AOE工具进行调优时，若仅针对网络中某些性能较低的算子进行调优，可通过此参数进行设置。该参数配置为包含算子信息的配置文件路径及文件名，例如：/home/test/cfg/tuning_config.cfg。

配置示例：

custom_op.parameter_map["aoe_config_file"].s=tf.compat.as_bytes("/home/test/cfg/tuning_config.cfg")

配置文件中配置的是需要进行调优的算子信息，文件内容格式如下：

{
       "tune_ops_name":["bert/embeddings/addbert/embeddings/add_1","loss/MatMul"],
       "tune_ops_type":["Add", "Mul"]
       "tune_optimization_level":"O1",
       "feature":["deeper_opat"]
}

• tune_ops_name：指定的算子名称，当前实现是支持全字匹配，可以指定一个，也可以指定多个，指定多个时需要用英文逗号分隔。此处配置的算子名称需要为经过图编译器处理过的网络模型的节点名称，可从Profiling调优数据中获取，详细可参见《性能分析工具使用指南》。
• tune_ops_type：指定的算子类型，当前实现是支持全字匹配，可以指定一个，也可以指定多个，指定多个时需要用英文逗号分隔。如果有融合算子包括了该算子类型，则该融合算子也会被调优。
• tune_optimization_level：调优模式，取值为O1表示高性能调优模式，取值为O2表示正常模式。默认值为O2。
• feature：调优功能特性开关，可以取值为deeper_opat或者nonhomo_split，取值为deeper_opat时，表示开启算子深度调优，aoe_mode需要配置为2；取值为nonhomo_split时，表示开启子图非均匀切分，aoe_mode需要配置为1。

训练

op_compiler_cache_mode

用于配置算子编译磁盘缓存模式。默认值为enable。

• enable：启用算子编译缓存功能。启用后，算子编译信息缓存至磁盘，相同编译参数的算子无需重复编译，直接使用缓存内容，从而提升编译速度。
• disable：禁用算子编译缓存功能。
• force：启用算子编译缓存功能，区别于enable模式，force模式下会强制刷新缓存，即先删除已有缓存，再重新编译并加入缓存。比如当用户的python或者依赖库等发生变化时，需要指定为force用于清理已有的缓存。
  说明：

  配置为force模式完成编译后，建议后续编译修改为enable模式，以避免每次编译时都强制刷新缓存。

使用说明：

• 该参数和op_compiler_cache_dir配合使用。
• 由于force选项会先删除已有缓存，所以不建议在程序并行编译时设置，否则可能会导致其他模型因使用的缓存内容被清除而编译失败。
• 建议模型最终发布时设置编译缓存选项为disable或者force。
• 如果算子调优后知识库变更，则需要通过设置为force来刷新缓存，否则无法应用新的调优知识库，从而导致调优应用执行失败。
• 注意，调试开关打开的场景下，即op_debug_level非0值或者op_debug_config配置非空时，会忽略算子编译磁盘缓存模式的配置，不启用算子编译缓存。主要基于以下两点考虑：
  • 启用算子编译缓存功能（enable或force模式）后，相同编译参数的算子无需重复编译，编译过程日志无法完整记录。
  • 受限于缓存空间大小，对调试场景的编译结果不做缓存。
• 启用算子编译缓存功能时，可以通过以下方式来配置来设置缓存文件夹的磁盘空间大小：
  1. 通过配置文件op_cache.ini设置。

     算子编译完成后，会在op_compiler_cache_dir指定的目录下自动生成op_cache.ini文件，开发者可通过该配置文件进行缓存磁盘空间大小的配置。若op_cache.ini文件不存在，可手动创建。

     在“op_cache.ini”文件中，增加如下信息：

     #配置文件格式，必须包含，自动生成的文件中默认包括如下信息，手动创建时，需要输入
     [op_compiler_cache]
     #限制某个芯片下缓存文件夹的磁盘空间的大小，单位为MB
     ascend_max_op_cache_size=500
     #设置需要保留缓存的空间大小比例，取值范围：[1,100]，单位为百分比；例如80表示缓存空间不足时，删除缓存，保留80%
     ascend_remain_cache_size_ratio=80    

     • 上述文件中的ascend_max_op_cache_size和ascend_remain_cache_size_ratio参数取值都有效时，op_cache.ini文件才会生效。
     • 若多个使用者使用相同的缓存路径，该配置文件会影响所有使用者。
  2. 通过环境变量ASCEND_MAX_OP_CACHE_SIZE设置。

     开发者可以通过环境变量ASCEND_MAX_OP_CACHE_SIZE来限制某个芯片下缓存文件夹的磁盘空间的大小，当编译缓存空间大小达到ASCEND_MAX_OP_CACHE_SIZE设置的取值，且需要删除旧的kernel文件时，可以通过环境变量ASCEND_REMAIN_CACHE_SIZE_RATIO设置需要保留缓存的空间大小比例。关于环境变量的详细说明可参见《环境变量参考》的“编译相关 > 算子编译”章节。

  若同时配置了op_cache.ini文件和环境变量，则优先读取op_cache.ini文件中的配置项，若op_cache.ini文件和环境变量都未设置，则读取系统默认值：默认磁盘空间大小500M，默认保留缓存的空间50%。

配置示例：

custom_op.parameter_map["op_compiler_cache_mode"].s = tf.compat.as_bytes("enable")

训练/在线推理

op_compiler_cache_dir

用于配置算子编译磁盘缓存的目录。

路径支持大小写字母（a-z，A-Z）、数字（0-9）、下划线（_）、中划线（-）、句点（.）、中文字符。

若指定的路径存在且路径有效，会在指定的路径下自动创建子目录kernel_cache；如果指定的路径不存在但路径有效，则先自动创建目录，然后在该路径下自动创建子目录kernel_cache。

算子编译缓存文件存储优先级为：

配置参数“op_compiler_cache_dir” > ${ASCEND_CACHE_PATH}/kernel_cache_host标识 > 默认路径（$HOME/atc_data）。

关于环境变量ASCEND_CACHE_PATH的详细说明可参见《环境变量参考》。

配置示例：

custom_op.parameter_map["op_compiler_cache_dir"].s = tf.compat.as_bytes("/home/test/kernel_cache")

训练/在线推理

local_rank_id

该参数用于推荐网络场景的数据并行场景，在主进程中对于数据进行去重操作，去重之后的数据再分发给其他进程的Device进行前后向计算。

该模式下，一个主机上多Device共用一个进程做数据预处理，但实际还是多进程的场景，在主进程上进行数据预处理，其他进程不在接受本进程上的Dataset，而是接收主进程预处理后的数据。

具体使用方法一般是通过集合通信的get_local_rank_id()接口获取当前进程在其所在Server内的rank编号，用来判断哪个进程是主进程。

配置示例：

custom_op.parameter_map["local_rank_id"].i = 0

训练/在线推理

local_device_list

该参数配合local_rank_id使用，用来指定主进程给哪些其他进程的Device发送数据。

custom_op.parameter_map["local_device_list"].s = tf.compat.as_bytes("0,1")

训练/在线推理

hccl_timeout

集合通信超时时间，单位为s，默认值1800s。

当默认时长不满足需求时（例如出现通信失败的错误），可通过此配置项延长超时时间。

• 针对Atlas 训练系列产品，单位为s，取值范围为：(0, 17340]，默认值为1800。

  需要注意：针对Atlas 训练系列产品，系统实际设置的超时时间 = 环境变量的取值先整除“68”，然后再乘以“68”，单位s。如果环境变量的取值小于68，则默认按照68s进行处理。

  例如，假设HCCL_EXEC_TIMEOUT=600，则系统实际设置的超时时间为：600整除68乘以68 = 8*68 = 544s。

• 针对Atlas A2 训练系列产品，单位为s，取值范围为：[0, 2147483647]，默认值为1800，当配置为0时代表永不超时。

配置示例：

custom_op.parameter_map["hccl_timeout"].i = 1800

训练

op_wait_timeout

算子等待超时时间，单位为s，默认值为120s。

当默认时长不满足需求时，可通过此配置项延长超时时间。

配置示例：

custom_op.parameter_map["op_wait_timeout"].i = 120

训练

op_execute_timeout

算子执行超时时间，单位为s。

配置示例：

custom_op.parameter_map["op_execute_timeout"].i = 90

训练

stream_sync_timeout

图执行时，stream同步等待超时时间，超过配置时间时报同步失败。单位：ms

默认值-1，表示无等待时间，出现同步失败不报错。

说明：集群训练场景下，此配置的值（即stream同步等待超时时间）需要大于集合通信超时时间，即“hccl_timeout”配置项的值或者环境变量“HCCL_EXEC_TIMEOUT”的值。

配置示例：

custom_op.parameter_map["stream_sync_timeout"].i = 60000

训练

event_sync_timeout

图执行时，event同步等待超时时间，超过配置时间时报同步失败。单位：ms

默认值-1，表示无等待时间，出现同步失败不报错。

配置示例：

custom_op.parameter_map["event_sync_timeout"].i = 60000

训练

enable_compress_weight

使能全局weight压缩。

AICore支持Weight压缩功能，通过该参数，可以对Weight进行数据压缩，在进行算子计算时，对Weight进行解压缩，从而达到减少带宽、提高性能的目的。

该参数不能与compress_weight_conf同时使用。

• True：表示使能。
• False：表示关闭。默认为False。

配置示例：

custom_op.parameter_map["enable_compress_weight"].b = True

在线推理

compress_weight_conf

要压缩的node节点列表配置文件路径以及文件名。node节点主要为conv算子、fc算子。

格式要求：支持大小写字母（a-z，A-Z）、数字（0-9）、下划线（_）、中划线（-）、句点（.）、中文字符。

该参数不能与enable_compress_weight参数同时使用。

weight压缩配置文件中的算子列表由AMCT输出（输出路径为非均匀量化结果路径下记录非均匀量化层名的文件，例如：module/results/calibration_results/module_nuq_layer_record.txt），文件内容即为node名称列表，

配置文件compress_weight_nodes.cfg样例如下所示，node名称之间以“;”间隔开。

conv1;fc1;conv2_2/x1;fc2;conv5_32/x2;fc6

配置示例：

custom_op.parameter_map["compress_weight_conf"].s = tf.compat.as_bytes("/home/test/compress_weight_nodes.cfg")

在线推理

jit_compile

模型编译时，选择是优先在线编译算子，还是优先使用已编译好的算子二进制文件。

• auto：针对静态shape网络，在线编译算子；针对动态shape网络，优先查找系统中已编译好的算子二进制，如果查找不到对应的二进制，再编译算子。
• true：在线编译算子，系统根据得到的图信息进行融合及优化，从而编译出运行性能更优的算子。
• false：优先查找系统中已编译好的算子二进制文件，如果能查找到，则不再编译算子，编译性能更优；如果查找不到，则再编译算子。

默认值：auto。

配置示例：

custom_op.parameter_map["jit_compile"].s = tf.compat.as_bytes( "auto")

训练/在线推理

experimental_accelerate_train_mode

针对超过1小时以上的训练场景，开发者可以通过此配置触发训练加速，提升训练性能。

软件内部会根据开发者配置的加速类型、加速触发模式以及低精度训练流程占比，对相应比例的训练流程降精度编译运行，剩余的训练流程仍按照原始精度编译运行。

配置示例：

• 按照step触发加速

  custom_op.parameter_map["experimental_accelerate_train_mode"].s =
  tf.compat.as_bytes("fast|step|0.9")

• 按照loss触发加速

  custom_op.parameter_map["experimental_accelerate_train_mode"].s =
  tf.compat.as_bytes("fast|loss|1.05")

需要注意：

1. 若需要通过此配置项触发训练加速，需要确保网络脚本能够正常收敛。
2. 针对网络脚本训练耗时较短的场景，若开启此配置项，端到端性能耗时不一定能够产生正向收益。
3. 此配置项的功能与网络脚本中配置的精度模式有关：
   • 当通过“precision_mode”参数配置精度模式时，仅支持取值为"allow_fp32_to_fp16"， “must_keep_origin_dtype”或者“空”的场景下开启此配置。
   • 当通过“precision_mode_v2”参数配置精度模式时，仅支持取值为“origin”或者“空”的场景下开启此配置。
4. 此配置项功能与小循环次数有关，开启小循环的场景下可能不能准确按照指定的步数或者loss值分割整个训练流程，最终可能对loss和精度产生影响。
5. 开启此配置项时，开发者需要按照如下规则适配修改网络脚本。
   • 如果是step分割，需要设置"STEP_NOW"和"TOTAL_STEP"的环境变量，告知底层每次run的step值和总共的step数。
   • 如果是loss分割，则需要设置"LOSS_NOW"和"TARGET_LOSS"环境变量，告知底层每次run的loss值和目标loss值。

   step分割方式的网络脚本修改示例如下：

   # 设置环境变量STEP_NOW的初始值为“0”
   os.environ['STEP_NOW'] =  "0"
   # 设置环境变量TOTAL_STEP为总step数
   os.environ['TOTAL_STEP'] =  str(epoch)
   for i in range(epoch):
       # 执行训练操作
       _, step = sess.run([train_op, global_step])
       # 更新环境变量STEP_NOW的值为当前执行的step
       os.environ['STEP_NOW'] =  str(step)

   loss分割方式的网络脚本修改示例如下：

   # 设置环境变量LOSS_NOW的初始值为网络初始loss值，以下配置值仅为示例
   os.environ['LOSS_NOW'] =  "7.0"
   # 设置环境变量TARGET_LOSS的值为目标loss值，以下配置值仅为示例
   os.environ['TARGET_LOSS'] =  "3.0"
   for i in range(epoch):
       # 执行训练操作
       _, step = sess.run([train_op, global_step])
       # 更新环境变量LOSS_NOW的值为当前执行的loss值
       os.environ['LOSS_NOW'] =  str(loss)

训练

op_debug_level

功能调试配置项。

算子debug功能开关，取值：

• 0：不开启算子debug功能。
• 1：开启算子debug功能，在训练脚本执行目录下的kernel_meta文件夹中生成TBE指令映射文件（算子cce文件*.cce、python-cce映射文件*_loc.json、.o和.json文件），用于后续工具进行AICore Error问题定位。
• 2：开启算子debug功能，在训练脚本执行目录下的kernel_meta文件夹中生成TBE指令映射文件（算子cce文件*.cce、python-cce映射文件*_loc.json、.o和.json文件），并关闭ccec编译器的编译优化开关且打开ccec调试功能（ccec编译器选项设置为-O0-g），用于后续工具进行AICore Error问题定位。
• 3：不开启算子debug功能，且在训练脚本执行目录下的kernel_meta文件夹中保留.o和.json文件。
• 4：不开启算子debug功能，在训练脚本执行目录下的kernel_meta文件夹中保留.o（算子二进制文件）和.json文件（算子描述文件），生成TBE指令映射文件（算子cce文件*.cce）和UB融合计算描述文件（{$kernel_name}_compute.json）。
  须知：

  • 当该参数取值为0时，同时又配置了功能调试中的“op_debug_config”参数，则训练执行时，仍会在当前执行路径下生成算子编译目录kernel_meta，目录中生成的内容以“op_debug_config”配置为准。
  • 训练执行时，建议配置为0或3。如果需要进行问题定位，再选择调试开关选项1和2，是因为加入了调试功能后，会导致网络性能下降。
  • 配置为2（即开启ccec编译选项）的场景下，会增大算子Kernel（*.o文件）的大小。动态shape场景下，由于算子编译时会遍历可能存在的所有场景，最终可能会导致由于算子Kernel文件过大而无法进行编译的情况，此种场景下，建议不要配置为2。

    由于算子kernel文件过大而无法编译的日志显示如下：

    message:link error ld.lld: error: InputSection too large for range extension thunk ./kernel_meta_xxxxx.o:(xxxx)

  • 当该参数取值不为0时，可通过功能调试中的“debug_dir”参数指定调试相关过程文件的存放路径。

默认值为空，代表不使能此配置。

配置示例：

custom_op.parameter_map["op_debug_level"].i = 0

训练/在线推理

enable_data_pre_proc

性能调优配置项。

getnext算子是否下沉到昇腾AI处理器侧执行，getnext算子下沉是使能训练迭代循环下沉的必要条件。

• True：下沉，getnext算子下沉的前提是必须使用TensorFlow Dataset方式读数据。
• False：不下沉，默认为False。

custom_op.parameter_map["enable_data_pre_proc"].b = True

训练

variable_format_optimize

性能调优配置项。

是否开启变量格式优化。

• True：开启。
• False：关闭。

为了提高训练效率，在网络执行的变量初始化过程中，将变量转换成更适合在昇腾AI处理器上运行的数据格式，例如进行NCHW到NC1HWC0的数据格式转换。但在用户特殊要求场景下，可以选择关闭该功能开关。

默认值为空，代表不使能此配置。

配置示例：

custom_op.parameter_map["variable_format_optimize"].b =  True

训练

op_select_implmode

性能调优配置项。

昇腾AI处理器部分内置算子有高精度和高性能实现方式，用户可以通过该参数配置模型编译时选择哪种算子。取值包括：

• high_precision：表示算子选择高精度实现。高精度实现算子是指在fp16输入的情况下，通过泰勒展开/牛顿迭代等手段进一步提升算子的精度。
• high_performance：表示算子选择高性能实现。高性能实现算子是指在fp16输入的情况下，不影响网络精度前提的最优性能实现。

默认值为空，代表不使能此配置。

配置示例：

custom_op.parameter_map["op_select_implmode"].s = tf.compat.as_bytes("high_precision")

训练/在线推理

optypelist_for_implmode

性能调优配置项。

列举算子optype的列表，该列表中的算子使用op_select_implmode参数指定的模式，当前支持的算子为Pooling、SoftmaxV2、LRN、ROIAlign，多个算子以英文逗号分隔。

该参数需要与op_select_implmode参数配合使用，例如：

op_select_implmode配置为high_precision。

optypelist_for_implmode配置为Pooling。

默认值为空，代表不使能此配置。

配置示例：

custom_op.parameter_map["optypelist_for_implmode"].s = tf.compat.as_bytes("Pooling,SoftmaxV2")

训练/在线推理

dynamic_input

当前网络的输入是否为动态输入，取值包括：

• True：动态输入。
• False：固定输入，默认False。

配置示例：

custom_op.parameter_map["dynamic_input"].b = True

训练/在线推理

dynamic_graph_execute_mode

对于动态输入场景，需要通过该参数设置执行模式，即dynamic_input为True时该参数生效。取值为：

dynamic_execute：动态图编译模式。该模式下获取dynamic_inputs_shape_range中配置的shape范围进行编译。

配置示例：

custom_op.parameter_map["dynamic_graph_execute_mode"].s = tf.compat.as_bytes("dynamic_execute")

训练/在线推理

dynamic_inputs_shape_range

动态输入的shape范围。例如全图有3个输入，两个为dataset输入，一个为placeholder输入，则配置示例为：

custom_op.parameter_map["dynamic_inputs_shape_range"].s = tf.compat.as_bytes("getnext:[128 ,3~5, 2~128, -1],[64 ,3~5, 2~128, -1];data:[128 ,3~5, 2~128, -1]")

使用注意事项：

• 使用此参数时，不支持将常量设置为用户输入。

• dataset输入固定标识为“getnext”，placeholder输入固定标识为“data”，不允许用其他表示。
• 动态维度有shape范围的用波浪号“~”表示，固定维度用固定数字表示，无限定范围的用-1表示。
• 对于多输入场景，例如有三个dataset输入时，如果只有第二个第三个输入具有shape范围，第一个输入为固定输入时，仍需要将固定输入shape填入：

  custom_op.parameter_map["dynamic_inputs_shape_range"].s = tf.compat.as_bytes("getnext:[3,3,4,10],[-1,3,2~1000,-1],[-1,-1,-1,-1]")

• 对于标量输入，也需要填入shape范围，表示方法为：[]，"[]"前不允许有空格。
• 若网络中有多个getnext输入，或者多个data输入，需要分别保持顺序关系，例如：
  • 若网络中有多个dataset输入：

    def func(x):
        x = x + 1
        y = x + 2
        return x,y
    dataset = tf.data.Dataset.range(min_size, max_size)
    dataset = dataset.map(func)

    网络的第一个输入是x（假设shape range为：[3~5]），第二个输入是y（假设shape range为：[3~6]），配置到dynamic_inputs_shape_range中时，需要保持顺序关系，即

    custom_op.parameter_map["dynamic_inputs_shape_range"].s = tf.compat.as_bytes("getnext:[3~5],[3~6]")

  • 若网络中有多个placeholder输入：

    如果不指定placeholder的name，例：

    x = tf.placeholder(tf.int32)
    y = tf.placeholder(tf.int32)

    placeholder的顺序和脚本中定义的位置一致，即网络的第一个输入是x（假设shape range为：[3~5]），第二个输入是y（shape range为：[3~6]），配置到dynamic_inputs_shape_range中时，需要保持顺序关系，即

    custom_op.parameter_map["dynamic_inputs_shape_range"].s = tf.compat.as_bytes("data:[3~5],[3~6]")

    如果指定了placeholder的name，例：

    x = tf.placeholder(tf.int32, name='b')
    y = tf.placeholder(tf.int32, name='a')

    则网络输入的顺序按name的字母序排序，即

    即网络的第一个输入是y（假设shape range为：[3~6]），第二个输入是x（shape range为：[3~5]），配置到dynamic_inputs_shape_range中时，需要保持顺序关系，即

    custom_op.parameter_map["dynamic_inputs_shape_range"].s = tf.compat.as_bytes("data:[3~6],[3~5]")

  须知：

  • 当存在不同输入shape的子图时，由于dynamic_inputs_shape_range是针对于单张图的配置属性，因此可能会导致执行异常，建议使用set_graph_exec_config以支持动态输入场景。
  • 若网络脚本中未指定placeholder的name，则placeholder会按照会如下格式命名：

    xxx_0，xxx_1，xxx_2，……

    其中下划线后为placeholder在网络脚本中的定义顺序索引，placeholder会按照此索引的字母顺序进行排布，所以当placeholder的个数大于10时，则排序为“xxx_0 -> xxx_10 -> xxx_2 -> xxx_3”，网络脚本中定义索引为10的placeholder排在了索引为2的placeholder前面，导致定义的shape range与实际输入的placeholder不匹配。

    为避免此问题，当placeholder的输入个数大于10时，建议在网络脚本中指定placeholder的name，则placeholder会以指定的name进行命名，实现shape range与placeholder name的关联。

  • 当输入shape范围无限定，即使用“-1”表示时，若存在输入包含空tensor的场景，可能会执行异常。空tensor即输入shape包含0，例如：shape=(0,1)。

训练/在线推理

graph_memory_max_size

历史版本，该参数用于指定网络静态内存和最大动态内存的大小。

当前版本，该参数不再生效。系统会根据网络使用的实际内存大小动态申请。

训练/在线推理

variable_memory_max_size

历史版本，该参数用于指定变量内存的大小。

当前版本，该参数不再生效。系统会根据网络使用的实际内存大小动态申请。

训练/在线推理