比对结果

1

菜单栏

从左到右分别为Open…、New Task、Refresh、Help四项功能。Open…为打开并展示比对结果csv文件；New Task为创建新的比对任务；Refresh用于读取并刷新File Manager中管理的文件；单击Help弹出小窗，可展示精度比对工具的使用限制（Restrictions）、使用建议、在线教程链接等。

2

File Manager，历史数据管理

显示用户指定文件夹以及文件夹下生成的整网比对的csv文件以及显示通过Open…单独打开的csv文件；对文件夹和csv，提供历史数据管理功能，包括打开、删除、另存为；在文件夹处右键删除；在空白处右键创建新比对任务（New Task）、刷新（Refresh）和Open…（打开并展示比对结果csv文件）。

3

Model Accuracy Analysis，精度比对分析界面

默认仅显示有结果的算子。可单击列名，进行排序，各列字段含义请参见表2。

单击勾选Show Invalid Data，可展示无法比对的数据；单击勾选Show Highlight Data，仅展示不符合Highlight阈值的比对结果数据；去勾选Show Highlight Data状态下，滑动右侧Highlight游标，则表格中不符合Highlight阈值的数据标红；Show Highlight Data由勾选转变为去勾选的状态，表格还原到默认状态。

4

Scatter Diagram，各项算法指标的散点分布图

Show Model，比对模型可视化展示

Scatter Diagram：横坐标表示算子的执行顺序，纵坐标为算法指标在对应Tensor上的实际取值。各字段含义请参见表3。

Show Model：分别展示NPU和Ground Truth的模型图。详细介绍请参见表4。

注：历史数据管理功能暂不支持数据老化，即当磁盘空间不足时系统无法自动删除多余的历史文件，请用户自行删除多余的文件以保证比对程序的运行。

Index

网络模型中算子的ID。

OpSequence

算子运行的序列。全网层信息文件中算子的ID。仅配置“Operator Range”时展示。

OpType

算子类型。

NPUDump

表示NPU Dump模型的算子名。光标悬浮时，可显示具体算子所在的文件路径。

DataType

表示NPU Dump侧数据算子的数据类型。

Address

dump tensor的虚拟内存地址。用于判断算子的内存问题。仅基于昇腾AI处理器运行生成的dump数据文件在整网比对时可提取该数据。

GroundTruth

表示Ground Truth模型的算子名。光标悬浮时，可显示具体算子所在的文件路径。

DataType

表示Ground Truth侧数据算子的数据类型。

TensorIndex

表示NPU Dump模型算子的input ID和output ID。

Shape

比对的Tensor的Shape。

OverFlow

溢出算子。显示YES表示该算子存在溢出；显示NO表示算子无溢出；显示NaN表示不做溢出检测。

开启Advisor功能时展示，为比对结果专家建议的FP16溢出检测专家建议提供数据。

CosineSimilarity

进行余弦相似度算法比对出来的结果。取值范围为[-1,1]，比对的结果如果越接近1，表示两者的值越相近，越接近-1意味着两者的值越相反。

RelativeEuclideanDistance

进行欧氏相对距离算法比对出来的结果。取值范围为0到无穷大，值越接近于0，表明越相近，值越大，表明差距越大。

MaxAbsoluteError

进行最大绝对误差算法比对出来的结果。取值范围为0到无穷大，值越接近于0，表明越相近，值越大，表明差距越大。

MeanAbsoluteError

表示平均绝对误差（MAE），取值范围为0到无穷大。

• MeanAbsoluteError趋于0，RootMeanSquareError趋于0，说明测量值与真实值越近似。
• MeanAbsoluteError趋于0，RootMeanSquareError越大，说明存在局部过大的异常值。
• MeanAbsoluteError越大，RootMeanSquareError等于或近似MeanAbsoluteError，说明整体偏差越集中。
• MeanAbsoluteError越大，RootMeanSquareError越大于MeanAbsoluteError，说明存在整体偏差，且整体偏差分布分散。
• 不存在以上情况的例外情况，因为RootMeanSquareError ≥ MeanAbsoluteError恒成立。

RootMeanSquareError

表示均方根误差（RMSE），取值范围为0到无穷大。

• MeanAbsoluteError趋于0，RootMeanSquareError趋于0，说明测量值与真实值越近似。
• MeanAbsoluteError趋于0，RootMeanSquareError越大，说明存在局部过大的异常值。
• MeanAbsoluteError越大，RootMeanSquareError等于或近似MeanAbsoluteError，说明整体偏差越集中。
• MeanAbsoluteError越大，RootMeanSquareError越大于MeanAbsoluteError，说明存在整体偏差，且整体偏差分布分散。
• 不存在以上情况的例外情况，因为RootMeanSquareError ≥ MeanAbsoluteError恒成立。

MaxRelativeError

表示最大相对误差。取值范围为0到无穷大，值越接近于0，表明越相近，值越大，表明差距越大。

MeanRelativeError

表示平均相对误差。取值范围为0到无穷大，值越接近于0，表明越相近，值越大，表明差距越大。

AccumulatedRelativeError

进行累积相对误差算法比对出来的结果。取值范围为0到无穷大，值越接近于0，表明越相近，值越大，表明差距越大。

StandardDeviation

进行标准差算法比对出来的结果。取值范围为0到无穷大。标准差越小，离散度越小，表明越接近平均值。该列显示NPU Dump和Ground Truth两组数据的均值和标准差，第一组展示NPU Dump模型dump数据的数值(均值;标准差)，第二组展示Ground Truth模型dump数据的数值（均值;标准差）。

KullbackLeiblerDivergence

进行KL散度算法比对出来的结果。取值范围为0到无穷大。KL散度越小，真实分布与近似分布之间的匹配越好。

CompareFailReason

算子无法比对的原因。

若余弦相似度为1，则查看该算子的输入或输出shape是否为空或全部为1，若为空或全部为1则算子的输入或输出为标量，提示：this tensor is scalar。

注1：余弦相似度和KL散度比较结果为NaN，其他算法有比较数据，则表明左侧或右侧数据为0；KL散度比较结果为inf，表明右侧数据有一个为0；比对结果为nan，表示dump数据有nan。

注2：光标悬浮在表头可以看到对应的参数详细解释。

注3：若配置了自定义算法比对，则在比对结果的内置算法后增加对应自定义算法列。

注4：单击表中任意结果单元格，右侧散点分布图或模型图可跳转到对应算子并高亮；单击右侧Show Model的模型中任意算子，左侧表中对应算子的单元格高亮。

Algorithm

选择展示对应比对算法结果的散点分布图，不支持展示StandardDeviation、KullbackLeiblerDivergence和AccumulatedRelativeError。

Tensor

过滤显示Input、Output结果散点分布图。

Highlight

算子精度阈值。通过滑动游标在对应算法指标的[min,max]间滑动来设置算法指标（纵坐标）的阈值，符合阈值的点显示为蓝色，不符合阈值的点显示为红色，同时左侧表格不符合阈值的数据标红。对于CosineSimilarity算法来说低于阈值的数据为不符合；对于其他算法来说，高于阈值的数据为不符合。

注1：光标移动到对应Tensor点上时，浮窗显示Tensor信息。信息包括：Index（Tensor对应算子的Index）、Op Name（算子名称）、Tensor Index（Tensor类型（input/output））以及Value（在当前算法维度下的Tensor数值）。

注2：支持对散点图进行缩放。

注3：指定区域3中的Tensor时，高亮对应Tensor点。

NPU Model

离线模型可视化。指定算子映射文件（.json）或离线模型文件（*.om）展示。

训练场景下，若整网比对使用的Model File为计算图文件（*.txt），此处不支持展示模型图。

Ground Truth Model

原始模型可视化。指定原始模型文件展示。

Input Model

指定算子映射文件（.json）、离线模型文件（*.om）或原始模型文件。

注1：选中区域3中的某个Tensor时，模型网络跳转到对应节点并高亮。

注2：滑动散点分布图中的Highlight游标，模型网络中不符合Highlight阈值的节点标红。