介绍AOE的GlobalOption。
Options |
描述 |
---|---|
ip |
NCS所在服务器的IP。 |
port |
NCS所在服务器的端口号。 |
device |
调优在运行环境上运行时使用的device id。 |
buffer_optimize |
是否开启数据缓存优化功能。 |
compress_weight_conf |
要压缩的node节点列表配置文件路径以及文件名。 |
precision_mode |
选择算子精度模式。 |
disable_reuse_memory |
内存复用开关。 |
enable_single_stream |
是否使能一个模型只能使用一条Stream。 |
aicore_num |
用于设置模型编译时使用的aicore数目。当前版本该参数预留,不建议配置;如需配置,则只能配置为默认值。 |
fusion_switch_file |
融合规则(包括图融合和UB融合)开关配置文件路径以及文件名,通过该参数关闭配置文件中指定的融合规则。 |
enable_small_channel |
是否使能small channel的优化,使能后在channel<=4的卷积层会有性能收益。 建议用户在推理场景下打开此开关。 |
op_select_implmode |
选择算子是高精度实现还是高性能实现。 高精度是指在fp16输入的情况下,通过泰勒展开/牛顿迭代等手段进一步提升算子的精度;高性能是指在fp16输入的情况下,不影响网络精度前提的最优性能实现。 |
optypelist_for_implmode |
设置optype列表中算子的实现方式,该参数当前仅支持设置某个具体算子的实现方式,不支持设置多个算子。当前仅支持配置的算子为Pooling、SoftmaxV2、LRN、ROIAlign。 |
enable_scope_fusion_passes |
指定编译时需要生效的Scope融合规则列表。 |
op_debug_level |
TBE算子编译debug功能开关。 |
virtual_type |
是否支持AOE调优在昇腾虚拟化实例生成的虚拟设备上运行。 |
sparsity |
使能全局稀疏特性。 |
modify_mixlist |
混合精度场景下,修改算子使用混合精度名单。 |
customize_dtypes |
模型编译时自定义某个或某些算子的计算精度。 |
framework |
原始网络模型的框架类型。 |
job_type |
调优模式。 |
compression_optimize_conf |
模型压缩功能配置文件路径以及文件名,通过该参数使能配置文件中指定的模型压缩特性,从而提升网络性能。 |
init_bypass |
对于AOE调优框架和调优业务不感知的编译参数,可以通过“--init_bypass”直接透传给aclgrphBuildInitialize接口(该接口作用是模型构建的初始化,详细信息请参考aclgrphBuildInitialize)。 |