文档首页我要评分文档获取效率文档正确性内容完整性文档易理解0/200提交在线提单论坛求助昇腾小AI 参数概览 如果通过aoe --help命令查询出的参数未解释在表1,则说明该参数预留或适用于其他芯片版本,用户无需关注。 表1 AOE参数概览 参数名称 参数简述(具体说明见参数描述章节) 是否必选 默认值 --help 或 -h 显示帮助信息。 否 不涉及 --model 或 -m 原始模型文件路径与文件名。 否 不涉及 --model_path 原始模型文件路径,该路径下可以存放多个模型文件。 否 不涉及 --weight 或 -w 权重文件路径与文件名。 否 不涉及 --job_type 或 -j 调优模式。 是 不涉及 --framework 或 -f 原始框架类型。 否 不涉及 --input_format 输入数据格式。 否 Caffe和ONNX默认为NCHW TensorFlow默认为NHWC --input_shape 指定模型输入数据的shape。 否 不涉及 --dynamic_batch_size 设置动态Batch档位参数,适用于执行推理时,每次处理图片数量不固定的场景。 否 不涉及 --dynamic_image_size 设置输入图片的动态分辨率参数。适用于执行推理时,每次处理图片宽和高不固定的场景。 否 不涉及 --dynamic_dims 设置ND格式下动态维度的档位。适用于执行推理时,每次处理任意维度的场景。 否 不涉及 --reload 子图调优中断后重载。当前次流程被中断后,希望从上次的已有的调优阶段开始继续调优,使用--reload进入重载模式。 否 不涉及 --device 用于指定调优在运行环境上运行时使用的device。 否 不涉及 --progress_bar 用于开启或关闭调优时进度显示功能。 否 on --singleop 通过配置算子描述文件,对指定的算子(一个或者多个)进行调优。 否 不涉及 --output 存放调优后的模型的路径以及文件名。 否 不涉及 --output_type 指定网络输出数据类型或指定某个输出节点的输出类型。 否 不涉及 --host_env_os 若模型编译环境的操作系统及其架构与模型运行环境不一致时,则需使用本参数设置模型运行环境的操作系统类型。 否 不涉及 --host_env_cpu 若模型编译环境的操作系统及其架构与模型运行环境不一致时,则需使用本参数设置模型运行环境的操作系统架构。 否 不涉及 --aicore_num 用于设置模型编译时使用的aicore数目。 否 默认值为昇腾AI处理器的实际核数。 --virtual_type 是否支持AOE调优在昇腾虚拟化实例生成的虚拟设备上运行。 当前该参数仅支持Atlas 推理系列产品。 否 0 --out_nodes 指定输出节点。 否 不涉及 --input_fp16_nodes 指定输入数据类型为FP16的输入节点名称。 否 不涉及 --insert_op_conf 插入算子的配置文件路径与文件名。 否 不涉及 --op_name_map 扩展算子(非标准算子)映射配置文件路径和文件名。 否 不涉及 --is_input_adjust_hw_layout 用于指定网络输入数据类型是否为FP16,数据格式是否为NC1HWC0。 否 false --is_output_adjust_hw_layout 用于指定网络输出的数据类型是否为FP16,数据格式是否为NC1HWC0。 否 false --disable_reuse_memory 内存复用开关。 否 0 --fusion_switch_file 融合开关配置文件路径以及文件名。 否 不涉及 --enable_scope_fusion_passes 指定编译时需要生效的融合规则列表。 否 不涉及 --enable_single_stream 是否使能一个模型只能使用一条stream。 否 false --enable_small_channel 是否使能small channel的优化,使能后在channel<=4的卷积层会有性能收益。 否 0 --compress_weight_conf 要压缩的node节点列表配置文件路径以及文件名。 否 不涉及 --compression_optimize_conf 模型压缩功能配置文件路径以及文件名,通过该参数使能配置文件中指定的模型压缩特性,从而提升网络性能。 否 不涉及 --buffer_optimize 是否开启buffer优化。 否 l2_optimize --precision_mode 选择算子精度模式。 否 参数默认值如下: 推理场景:force_fp16 训练场景:allow_fp32_to_fp16 Atlas A2训练系列产品/Atlas 800I A2推理产品训练场景:must_keep_origin_dtype Atlas A2训练系列产品/Atlas 800I A2推理产品推理场景:force_fp16 其他训练场景:allow_fp32_to_fp16 其他推理场景:force_fp16 --op_select_implmode 选择算子是高精度实现还是高性能实现。 否 high_performance --optypelist_for_implmode 列举算子optype的列表。 否 不涉及 --op_debug_level TBE算子编译debug功能开关。 否 0 --log 设置调优过程中日志的级别。 否 不涉及 --tune_ops_file 通过配置文件指定算子名称或者算子类型,对指定的算子进行调优。 否 不涉及 --op_precision_mode 设置具体某个算子的精度模式,通过该参数可以为多个算子设置不同的精度模式。 否 不涉及 --modify_mixlist 混合精度场景下,修改算子使用混合精度名单。 否 不涉及 --keep_dtype 保持原始网络模型编译时个别算子的计算精度不变。 否 不涉及 --customize_dtypes 模型编译时自定义某个或某些算子的计算精度。 否 不涉及 --tune_optimization_level 调优模式,通过该参数可配置不同模式调优,包括高性能模式和正常模式。 否 O2 --Fdeeper_opat 算子深度调优。 否 不涉及 --Fnonhomo_split 子图非均匀切分调优。 否 不涉及 --Fop_format 算子format调优。 否 不涉及 --sparsity 使能全局稀疏特性。 否 0 --op_tune_mode 使能静态kernel调优功能,根据输入的算子信息json文件,生成调优后的kernel,并保存到指定目录。 否 不涉及 --op_tune_file 指定算子json文件的存放路径。 否 不涉及 --op_tune_kernel_path 指定静态kernel的存放路径。 否 不涉及 --soc_version 指定昇腾AI处理器的版本。 否 不涉及 --init_bypass 对于AOE调优框架和调优业务不感知的编译参数,可以通过“--init_bypass”在模型构建初始化阶段透传,具体透传的参数请参考options参数说明。 否 不涉及 --build_bypass 对于AOE调优框架和调优业务不感知的编译参数,可以通过“--build_bypass”在模型编译阶段透传,具体透传的参数请参考aclgrphBuildModel。 否 不涉及 父主题: AOE参数说明 搜索结果找到“0”个结果当前产品无相关内容未找到相关内容,请尝试其他搜索词