介绍AOE的TuningOption。
Options |
描述 |
---|---|
input_format |
指定模型输入数据的格式。 |
input_shape |
指定模型输入数据的shape。 |
op_name_map |
扩展算子(非标准算子)映射配置文件路径和文件名,不同的网络中某扩展算子的功能不同,可以指定该扩展算子到具体网络中,而实际运行的是扩展算子的映射。 |
dynamic_batch_size |
设置动态Batch档位参数,适用于执行推理时,每次处理图片数量不固定的场景。 |
dynamic_image_size |
设置输入图片的动态分辨率参数。适用于执行推理时,每次处理图片宽和高不固定的场景。 |
dynamic_dims |
设置ND格式下动态维度的档位。适用于执行推理时,每次处理任意维度的场景。 |
precision_mode |
选择算子精度模式。 |
output_type |
指定网络输出数据类型或指定某个输出节点的输出类型。 |
out_nodes |
指定输出节点。 |
input_fp16_nodes |
指定输入数据类型为FP16的输入节点名称。 |
log |
设置调优过程中日志的级别。 |
op_debug_level |
TBE算子编译debug功能开关。 |
insert_op_conf |
插入算子的配置文件路径与文件名,例如aipp预处理算子。 若使用该参数后,则输入数据类型为UINT8。 |
output |
调优后模型的存放路径以及文件名。 |
reload |
子图调优中断后重载。当前次流程被中断后,希望从上次的已有的调优阶段开始继续调优,使用--reload进入重载模式。 |
framework |
原始网络模型的框架类型。 |
model_path |
原始模型文件路径,该路径下可以存放多个模型文件。 |
tune_ops_file |
通过配置文件指定算子名称或者算子类型,对指定的算子进行调优。 |
op_precision_mode |
设置具体某个算子的精度模式,通过该参数可以为多个算子设置不同的精度模式。 |
keep_dtype |
在原始网络模型编译时,保持个别算子的计算精度不变。 |
singleop |
通过配置算子描述文件,对指定的算子(一个或者多个)进行调优。 |
tune_optimization_level |
调优模式,通过该参数可配置不同模式调优,包括高性能模式和正常模式。 |
Fdeeper_opat |
算子深度调优。 |
Fnonhomo_split |
子图非均匀切分调优。 |
Fop_format |
算子format调优。 |
host_env_os |
若模型编译环境的操作系统及其架构与模型运行环境不一致时,则需使用本参数设置模型运行环境的操作系统类型。如果不设置,则默认取模型编译环境的操作系统类型。 |
host_env_cpu |
若模型编译环境的操作系统及其架构与模型运行环境不一致时,则需使用本参数设置模型运行环境的操作系统架构。 如果不设置,则默认取模型编译环境的操作系统架构。 |
modify_mixlist |
混合精度场景下,修改算子使用混合精度名单。 |
build_bypass |
对于AOE调优框架和调优业务不感知的编译参数,可以通过“--build_bypass”直接透传给aclgrphBuildModel接口(该接口作用是编译模型,详细信息请参考aclgrphBuildModel)。 |