下载
中文
注册

TuningOption

介绍AOE的TuningOption。

表1 TuningOption

Options

描述

input_format

指定模型输入数据的格式。

input_shape

指定模型输入数据的shape。

op_name_map

扩展算子(非标准算子)映射配置文件路径和文件名,不同的网络中某扩展算子的功能不同,可以指定该扩展算子到具体网络中,而实际运行的是扩展算子的映射。

dynamic_batch_size

设置动态Batch档位参数,适用于执行推理时,每次处理图片数量不固定的场景。

dynamic_image_size

设置输入图片的动态分辨率参数。适用于执行推理时,每次处理图片宽和高不固定的场景。

dynamic_dims

设置ND格式下动态维度的档位。适用于执行推理时,每次处理任意维度的场景。

precision_mode

选择算子精度模式。

output_type

指定网络输出数据类型或指定某个输出节点的输出类型。

out_nodes

指定输出节点。

input_fp16_nodes

指定输入数据类型为FP16的输入节点名称。

log

设置调优过程中日志的级别。

op_debug_level

TBE算子编译debug功能开关。

insert_op_conf

插入算子的配置文件路径与文件名,例如aipp预处理算子。

若使用该参数后,则输入数据类型为UINT8。

output

调优后模型的存放路径以及文件名。

reload

子图调优中断后重载。当前次流程被中断后,希望从上次的已有的调优阶段开始继续调优,使用--reload进入重载模式。

framework

原始网络模型的框架类型。

model_path

原始模型文件路径,该路径下可以存放多个模型文件。

tune_ops_file

通过配置文件指定算子名称或者算子类型,对指定的算子进行调优。

op_precision_mode

设置具体某个算子的精度模式,通过该参数可以为多个算子设置不同的精度模式。

keep_dtype

在原始网络模型编译时,保持个别算子的计算精度不变。

singleop

通过配置算子描述文件,对指定的算子(一个或者多个)进行调优。

tune_optimization_level

调优模式,通过该参数可配置不同模式调优,包括高性能模式和正常模式。

Fdeeper_opat

算子深度调优。

Fnonhomo_split

子图非均匀切分调优。

Fop_format

算子format调优。

host_env_os

若模型编译环境的操作系统及其架构与模型运行环境不一致时,则需使用本参数设置模型运行环境的操作系统类型。如果不设置,则默认取模型编译环境的操作系统类型。

host_env_cpu

若模型编译环境的操作系统及其架构与模型运行环境不一致时,则需使用本参数设置模型运行环境的操作系统架构。

如果不设置,则默认取模型编译环境的操作系统架构。

modify_mixlist

混合精度场景下,修改算子使用混合精度名单。

build_bypass

对于AOE调优框架和调优业务不感知的编译参数,可以通过“--build_bypass”在模型编译阶段透传,具体透传的参数请参考aclgrphBuildModel