比对操作

Run Mode

• Remote Run：远程运行。

• Local Run：本地运行。

Windows使用场景下仅支持Remote Run，该参数不展示。

Deployment

运行配置，选择Remote Run模式时可见，必选配置。通过Deployment功能，详细请参见Deployment，可以将指定项目中的文件、文件夹同步到远程指定机器的指定目录。

Remote Toolkit Path

远端运行环境toolkit软件包安装路径，选择Remote Run模式时可见，必选配置。例如配置为${HOME}/Ascend/ascend-toolkit/{version}/toolkit。

与Deployment参数为绑定关系，单击“Start”后参数值将被保存。再次配置时，如连接已配置过的Deployment，则参数自动填充，可手动修改。

Environment Variables

环境变量配置，选择Remote Run模式时可见，可以直接在框中输入，也可以单击后在弹窗内单击填写。

可选配置，当Model File指定文件为离线模型文件（*.om）时，需要配置环境变量，否则工具将无法为离线模型文件（*.om）进行ATC转换导致比对失败。

与Deployment参数为绑定关系，单击“Start”后参数值将被保存。再次配置时，如连接已配置过的Deployment，则参数自动填充，可手动修改。

Output Path

比对数据结果存放路径，必选配置。无论选择Remote Run模式还是Local Run模式，均需要指定为本端路径。默认路径为当前系统的用户目录。

Analysis Mode

精度比对分析模式，必选配置。可选择模式为：

• NPU vs NPU：表示两个比对文件均为昇腾AI处理器上运行生成的dump数据文件。此时Model File参数可选。一般用于分析开启和关闭融合规则时进行模型转换后的dump数据文件之间的精度差。模型转换开启和关闭融合规则的详细介绍请参见模型转换。
• NPU vs GPU/CPU：表示昇腾AI处理器上运行生成的dump数据文件与原始模型的npy文件进行比对。此时展示Framework必选参数。

Framework

比对数据所属的框架类型，必选配置。Analysis Mode为NPU vs GPU/CPU时可见。可选类型为：

• TensorFlow：TensorFlow框架模型dump数据的精度比对，支持推理、训练场景，Model File参数必选。
• ONNX：ONNX框架模型dump数据的精度比对，支持推理场景，Model File参数必选。
• Caffe：Caffe框架模型dump数据的精度比对，支持推理场景，Model File参数必选。

NPU Dump

昇腾AI处理器上运行生成的dump数据文件目录，必选配置。

在远端执行比对时（Remote Run），须指定远端设备上的dump数据文件目录。

Model File

模型文件或融合规则文件。

• Analysis Mode为NPU vs NPU时，进行离线模型转换开启算子融合功能前后的dump数据精度比对，需要指定开融合的算子映射文件（.json）或离线模型文件（*.om）和关融合的算子映射文件（.json）或离线模型文件（*.om）。
• Analysis Mode为NPU vs GPU/CPU时，根据Framework选择的框架类型选择不同的文件：
  • TensorFlow：推理场景选择昇腾模型压缩后的量化融合规则文件（json文件）或离线模型文件（*.om）；训练场景选择计算图文件（*.txt）。
  • ONNX：选择昇腾模型压缩后的量化融合规则文件（json文件）或离线模型文件（*.om）。
  • Caffe：选择昇腾模型压缩后的量化融合规则文件（json文件）或离线模型文件（*.om）。

具体选择文件请参见比对场景。

Quantization Rule File（.json）

量化算子映射关系文件（昇腾模型压缩输出的json文件），可选配置。仅Framework为Caffe时展示。

Ground Truth

原始模型的npy文件目录，必选配置。

在远端执行比对时（Remote Run），须指定远端设备上的原始模型的npy文件目录。

Algorithm

比对算法维度。取值为：

• Cosine Similarity：余弦相似度算法，默认勾选。
• Relative Euclidean Distance：欧氏相对距离算法，默认勾选。
• Absolute Error，绝对误差，默认勾选，此项执行的比对算法为：
  • Max Absolute Error：最大绝对误差。
  • Mean Absolute Error：平均绝对误差。
  • Root Mean Square Error：均方根误差。
• Relative Error，相对误差，默认勾选，此项执行的比对算法为：
  • Max Relative Error：最大相对误差。
  • Mean Relative Error：平均相对误差。
  • Accumulated Relative Error：累积相对误差。
• Kullback Leibler Divergence：KL散度算法，默认不勾选。
• Standard Deviation：标准差算法，默认不勾选。

与Customized Algorithm自定义算法之间至少勾选一种算法。

Advance Options

扩展选项。包括Customized Algorithm、Advisor和Operator Range。

Customized Algorithm

自定义算法文件路径。

与Algorithm内置算法之间至少勾选一种算法。

需用户自行准备自定义算法.py文件，所在目录格式为“algorithm”，指定该目录下的自定义算法.py文件，生成自定义算法。自定义算法.py文件相关要求参见《精度比对工具使用指南》附录中的“准备自定义算法.py文件”章节。

Advisor

专家系统分析开关，默认关闭。开启后会在完成整网比对后对比对结果进行专家系统分析并输出问题节点、问题类型和优化建议。详细介绍请参见比对结果专家建议。

使用本功能前需要先执行pip3 install pandas命令安装pandas 1.3或更高版本依赖。

与Operator Range无法同时开启。

Operator Range

设定算子比对范围。有两种设置方式：

• 方式一：单击“Select”按钮，在弹出框内勾选需要比对的算子。
• 方式二：根据Start、End、Step参数配置比对算子的范围。
  • start：第一个比对的算子，取值范围为[1, 参与计算的算子个数]，默认值为1。
  • end：最后一个比对的算子，取值范围为-1或[start, 参与计算的算子个数]，默认值为-1（动态获取网络模型中最后一个参与计算的算子）。
  • step：第start+step*n个比对的算子，step取值范围为[1, 参与计算的算子个数)，默认值为1，n为从1开始的正整数。
  • 配置格式为：“start,end,step”。比如：-r 1,101,20，表示算子1,21,41,61,81,101的Tensor参与比对。

不配置本参数时，比对网络模型中的所有参与计算的算子。

配置本参数且Analysis Mode参数配置为NPU vs NPU时，需同时指定NPU Dump和Ground Truth的Model File分别指定开融合的算子映射文件（.json）或离线模型文件（*.om）和关融合的算子映射文件（.json）或离线模型文件（*.om）。

与Advisor无法同时开启。