文档
注册
评分
提单
论坛
小AI

--op_precision_mode

功能说明

设置具体某个算子的精度模式,通过该参数可以为多个算子设置不同的精度模式。

关联参数

该参数不能与--op_select_implmode--optypelist_for_implmode参数同时使用,若三个参数同时配置,则只有--op_precision_mode参数指定的模式生效。

参数取值

参数值:设置算子精度模式的配置文件(.ini格式)路径以及文件名,配置文件中支持设置如下精度模式:

  • high_precision:表示高精度。
  • high_performance:表示高性能。
  • enable_float_32_execution:算子内部处理时使用FP32数据类型功能,该场景下FP32数据类型不会自动转换为HF32数据类型;若使用HF32计算,精度损失超过预期时,可启用该配置,指定部分算子内部计算时使用FP32,保持精度。仅在Atlas A2训练系列产品场景支持此配置。
  • enable_hi_float_32_execution:算子内部处理时使用HF32数据类型功能,使能后,FP32数据类型自动转换为HF32数据类型;该配置可以降低数据所占空间大小,实现性能提升。当前版本暂不支持
  • support_out_of_bound_index:表示对gather、scatter和segment类算子的indices输入进行越界校验, 校验会降低算子的执行性能。

具体某个算子支持配置的精度/性能模式取值,可以通过CANN软件安装后文件存储路径的opp/built-in/op_impl/ai_core/tbe/impl_mode/all_ops_impl_mode.ini文件查看。

参数值格式:路径和文件名:支持大小写字母(a-z,A-Z)、数字(0-9)、下划线(_)、中划线(-)、句点(.)、中文汉字。

参数值约束

推荐配置及收益

  • 该参数不建议配置,若使用高性能或者高精度模式,网络性能或者精度不是最优,则可以使用该参数,通过配置ini文件调整具体某个算子的精度模式。
  • 通过该参数加载的ini配置文件,建议使用--op_select_implmode参数用户另存后的ini配置文件,详情请参见推荐配置及收益

示例

构造算子精度模式配置文件op_precision.ini,并在该文件中设置算子的精度模式,每一行设置一个算子的精度模式,样例如下:

optype1=high_precision
optype2=high_performance

将配置好的op_precision.ini文件上传到AOE工具所在服务器任意目录,例如上传到${HOME}/conf,使用示例如下:

--op_precision_mode=${HOME}/conf/op_precision.ini

依赖约束

无。

搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词