--keep_dtype

功能说明

保持原始网络模型编译时个别算子的计算精度不变。

推理场景下，使用--precision_mode参数设置整个网络模型的精度模式，可能会有个别算子存在性能或精度问题，为此引入--keep_dtype参数，保持原始网络模型编译时个别算子的计算精度不变，若原始网络模型中算子的计算精度，在昇腾AI处理器上不支持，则系统内部会自动采用算子支持的高精度来计算。

关联参数

该参数需要与--precision_mode参数配合使用，但当--precision_mode参数取值为must_keep_origin_dtype时，该参数不生效。
--customize_dtypes参数与--keep_dtype参数都用于设置算子的计算精度，若涉及需提升模型推理精度的场景，建议先使用--keep_dtype参数保持原图精度，若精度依然得不到提升，可以尝试使用--customize_dtypes参数自定义某个或某些算子的计算精度。
但需注意，使用--customize_dtypes参数且通过配置算子名称的方式，可能会由于内部模型优化过程中的融合、拆分等操作导致算子名称发生变化，进而导致配置不生效，未达到提升精度的目的，可进一步获取日志定位问题，关于日志的详细说明请参见《日志参考》。
若同时使用了--customize_dtypes参数与--keep_dtype参数，则以--customize_dtypes参数设置的精度为准。

参数取值

参数值：算子配置文件路径以及文件名，配置文件中列举需保持计算精度的算子名称或算子类型，每个算子单独一行。

参数值约束：若为算子类型，则以OpType::typeName格式进行配置，每个OpType单独一行，且算子OpType必须为基于Ascend IR定义的算子的OpType，算子类型查看方法请参见如何确定原始框架网络模型中的算子与昇腾AI处理器支持的算子的对应关系。

参数值格式：路径和文件名：支持大小写字母（a-z，A-Z）、数字（0-9）、下划线（_）、短横线（-）、句点（.）、中文汉字。

示例

若配置文件中为算子名称，则配置样例如下（文件名举例为execeptionlist.cfg）：
```
Opname1
Opname2
…
```
若配置文件中为算子类型，则配置样例为（文件名举例为execeptionlist.cfg）：
```
OpType::TypeName1
OpType::TypeName2
…
```

以TensorFlow ResNet50网络模型中的Relu算子为例，其对应的Ascend IR定义的算子类型为Relu，配置样例如下：

#算子名称配置样例：
fp32_vars/Relu
#算子类型配置样例：
OpType::Relu

将配置好的execeptionlist.cfg文件上传到ATC工具所在服务器任意目录，例如上传到$HOME，使用示例如下：

--keep_dtype=$HOME/execeptionlist.cfg --precision_mode=force_fp16

模型编译时，execeptionlist.cfg文件中的算子，保持原始网络模型精度，即精度不会改变，其余网络模型中的算子以--precision_mode参数指定的精度模式进行编译。

支持的型号

Atlas 200/300/500 推理产品

Atlas 推理系列产品

Atlas 训练系列产品

Atlas 200/500 A2推理产品

Atlas A2训练系列产品/Atlas 800I A2推理产品

依赖约束

无。

父主题： 算子调优选项