参数概览

--help 或 -h

显示帮助信息。

否

不涉及

--model 或 -m

原始模型文件路径与文件名。

否

不涉及

--model_path

原始模型文件路径，该路径下可以存放多个模型文件。

否

不涉及

--weight 或 -w

权重文件路径与文件名。

否

不涉及

--job_type 或 -j

调优模式。

是

不涉及

--framework 或 -f

原始框架类型。

否

不涉及

--input_format

输入数据格式。

否

Caffe和ONNX默认为NCHW

TensorFlow默认为NHWC

--input_shape

指定模型输入数据的shape。

否

不涉及

--dynamic_batch_size

设置动态Batch档位参数，适用于执行推理时，每次处理图片数量不固定的场景。

否

不涉及

--dynamic_image_size

设置输入图片的动态分辨率参数。适用于执行推理时，每次处理图片宽和高不固定的场景。

否

不涉及

--dynamic_dims

设置ND格式下动态维度的档位。适用于执行推理时，每次处理任意维度的场景。

否

不涉及

--reload

子图调优中断后重载。当前次流程被中断后，希望从上次的已有的调优阶段开始继续调优，使用--reload进入重载模式。

否

不涉及

--device

用于指定调优在运行环境上运行时使用的device。

否

不涉及

--progress_bar

用于开启或关闭调优时进度显示功能。

否

on

--singleop

通过配置算子描述文件，对指定的算子（一个或者多个）进行调优。

否

不涉及

--output

存放调优后的模型的路径以及文件名。

否

不涉及

--output_type

指定网络输出数据类型或指定某个输出节点的输出类型。

否

不涉及

--host_env_os

若模型编译环境的操作系统及其架构与模型运行环境不一致时，则需使用本参数设置模型运行环境的操作系统类型。

否

不涉及

--host_env_cpu

若模型编译环境的操作系统及其架构与模型运行环境不一致时，则需使用本参数设置模型运行环境的操作系统架构。

否

不涉及

--aicore_num

用于设置模型编译时使用的aicore数目。

否

默认值为最大值

--virtual_type

是否支持AOE调优在昇腾虚拟化实例生成的虚拟设备上运行。

当前该参数仅支持Atlas 推理系列产品（Ascend 310P处理器）。

否

0

--out_nodes

指定输出节点。

否

不涉及

--input_fp16_nodes

指定输入数据类型为FP16的输入节点名称。

否

不涉及

--insert_op_conf

插入算子的配置文件路径与文件名。

否

不涉及

--op_name_map

扩展算子（非标准算子）映射配置文件路径和文件名。

否

不涉及

--is_input_adjust_hw_layout

用于指定网络输入数据类型是否为FP16，数据格式是否为NC1HWC0。

否

false

--is_output_adjust_hw_layout

用于指定网络输出的数据类型是否为FP16，数据格式是否为NC1HWC0。

否

false

--disable_reuse_memory

内存复用开关。

否

0

--fusion_switch_file

融合开关配置文件路径以及文件名。

否

不涉及

--enable_scope_fusion_passes

指定编译时需要生效的融合规则列表。

否

不涉及

--enable_single_stream

是否使能一个模型只能使用一条stream。

否

false

--enable_small_channel

是否使能small channel的优化，使能后在channel<=4的卷积层会有性能收益。

否

0

--compression_optimize_conf

模型压缩功能配置文件路径以及文件名，通过该参数使能配置文件中指定的模型压缩特性，从而提升网络性能。

否

不涉及

--buffer_optimize

是否开启buffer优化。

否

l2_optimize

--precision_mode

选择算子精度模式。

否

参数默认值如下：

• Atlas A2训练系列产品训练场景：must_keep_origin_dtype
• Atlas A2训练系列产品推理场景：force_fp16
• 其他训练场景：allow_fp32_to_fp16
• 其他推理场景：force_fp16

--op_select_implmode

选择算子是高精度实现还是高性能实现。

否

high_performance

--optypelist_for_implmode

列举算子optype的列表。

否

不涉及

--op_debug_level

TBE算子编译debug功能开关。

否

0

--log

设置调优过程中日志的级别。

否

不涉及

--tune_ops_file

通过配置文件指定算子名称或者算子类型，对指定的算子进行调优。

否

不涉及

--op_precision_mode

设置具体某个算子的精度模式，通过该参数可以为多个算子设置不同的精度模式。

否

不涉及

--modify_mixlist

混合精度场景下，修改算子使用混合精度名单。

否

不涉及

--keep_dtype

保持原始网络模型编译时个别算子的计算精度不变。

否

不涉及

--customize_dtypes

模型编译时自定义某个或某些算子的计算精度。

否

不涉及

--tune_optimization_level

调优模式，通过该参数可配置不同模式调优，包括高性能模式和正常模式。

否

O2

--Fdeeper_opat

算子深度调优。

否

不涉及

--Fnonhomo_split

子图非均匀切分调优。

否

不涉及

--Fop_format

算子format调优。

否

不涉及

--sparsity

使能全局稀疏特性。

否

0