文档
注册

GlobalOption

介绍AOE的GlobalOption。

表1 GlobalOption

Options

描述

ip

NCS所在服务器的IP。

port

NCS所在服务器的端口号。

device

调优在运行环境上运行时使用的device id。

buffer_optimize

是否开启数据缓存优化功能。

compress_weight_conf

要压缩的node节点列表配置文件路径以及文件名。

precision_mode

选择算子精度模式。

disable_reuse_memory

内存复用开关。

enable_single_stream

是否使能一个模型只能使用一条Stream。

aicore_num

用于设置模型编译时使用的aicore数目。当前版本该参数预留,不建议配置;如需配置,则只能配置为默认值。

fusion_switch_file

融合规则(包括图融合和UB融合)开关配置文件路径以及文件名,通过该参数关闭配置文件中指定的融合规则。

enable_small_channel

是否使能small channel的优化,使能后在channel<=4的卷积层会有性能收益。

建议用户在推理场景下打开此开关。

op_select_implmode

选择算子是高精度实现还是高性能实现。

高精度是指在fp16输入的情况下,通过泰勒展开/牛顿迭代等手段进一步提升算子的精度;高性能是指在fp16输入的情况下,不影响网络精度前提的最优性能实现。

optypelist_for_implmode

设置optype列表中算子的实现方式,该参数当前仅支持设置某个具体算子的实现方式,不支持设置多个算子。当前仅支持配置的算子为Pooling、SoftmaxV2、LRN、ROIAlign。

enable_scope_fusion_passes

指定编译时需要生效的Scope融合规则列表。

op_debug_level

TBE算子编译debug功能开关。

virtual_type

是否支持AOE调优在昇腾虚拟化实例生成的虚拟设备上运行。

sparsity

使能全局稀疏特性。

modify_mixlist

混合精度场景下,修改算子使用混合精度名单。

customize_dtypes

模型编译时自定义某个或某些算子的计算精度。

framework

原始网络模型的框架类型。

job_type

调优模式。

compression_optimize_conf

模型压缩功能配置文件路径以及文件名,通过该参数使能配置文件中指定的模型压缩特性,从而提升网络性能。

init_bypass

对于AOE调优框架和调优业务不感知的编译参数,可以通过“--init_bypass”在模型构建初始化阶段透传,具体透传的参数请参考options参数说明

搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词