下载
中文
注册

总体说明

  • 对于该场景需要排查比对结果说明
  • 本场景仅针对相同芯片之间的比对。
  • Ascend NPU vs Ascend NPU场景仅支持非量化离线模型 vs 非量化离线模型和量化离线模型 vs 量化离线模型场景的精度比对。

版本迭代前后精度比对

对于进行ATC转换后的离线模型,由于CANN软件版本迭代、模型版本迭代或模型进行优化,需要判断迭代、优化后的模型在昇腾AI处理器上运行是否存在精度下降问题。分为非量化 vs 非量化和量化 vs 量化,输入数据准备如下。

表1 非量化 vs 非量化输入数据要求

文件

说明

获取方式

非量化离线模型在昇腾AI处理器上运行生成的dump数据文件(版本迭代前)

标杆数据

准备离线模型dump数据文件

非量化离线模型在昇腾AI处理器上运行生成的dump数据文件(版本迭代后)

待比对数据

表2 量化 vs 量化输入数据要求

文件

说明

获取方式

量化离线模型在昇腾AI处理器上运行生成的dump数据文件(版本迭代前)

标杆数据

准备离线模型dump数据文件

量化离线模型在昇腾AI处理器上运行生成的dump数据文件(版本迭代后)

待比对数据

同一模型切换推理芯片场景的精度比对

当同一离线模型切换了推理芯片,为了了解是否存在精度下降问题,那么可以将切换前的离线模型dump数据与切换后的离线模型dump数据进行比对。

例如在Atlas 200/300/500 推理产品下运行的离线模型切换到Atlas 推理系列产品下运行,判断是否存在精度下降问题,需要进行如下步骤:

  1. 获取到原始模型并重新执行ATC模型转换。

    参见准备离线模型文件执行,要求分别指定定两个--soc_version芯片型号,且跳过3,即两个模型均关闭算子融合转换离线模型,保证所有算子均可比对。

  2. 获取离线模型dump数据。

    参见表3表4获取,标杆数据为Atlas 200/300/500 推理产品下运行的dump数据,待比对数据为Atlas 推理系列产品下运行的dump数据。

  3. 执行精度比对。

    参见比对操作和分析,需要取消-f和-cf参数,否则无法比对。

表3 非量化 vs 非量化输入数据要求

文件

说明

获取方式

非量化离线模型在昇腾AI处理器上运行生成的dump数据文件(Ascend NPU A)

标杆数据

准备离线模型dump数据文件

非量化离线模型在昇腾AI处理器上运行生成的dump数据文件(Ascend NPU B)

待比对数据

表4 量化 vs 量化输入数据要求

文件

说明

获取方式

量化离线模型在昇腾AI处理器上运行生成的dump数据文件(Ascend NPU A)

标杆数据

准备离线模型dump数据文件

量化离线模型在昇腾AI处理器上运行生成的dump数据文件(Ascend NPU B)

待比对数据

开启和关闭算子融合功能模型转换的精度比对

一般情况下转换离线模型是默认开启算子融合功能的。为了排查融合后的算子产生的精度问题,可以先dump开融合的数据文件,再关闭算子融合功能进行模型转换,dump关融合的数据文件,最后融合和关融合的dump数据文件进行比对。

改场景分为非量化 vs 非量化和量化 vs 量化,输入数据准备如下。

表5 非量化 vs 非量化输入数据要求

文件

说明

获取方式

非量化离线模型文件(*.om)(关闭算子融合)

非量化离线模型文件(*.om)(开启算子融合)

模型文件

准备离线模型文件

非量化离线模型在昇腾AI处理器上运行生成的dump数据文件(关闭算子融合)

标杆数据

准备离线模型dump数据文件

非量化离线模型在昇腾AI处理器上运行生成的dump数据文件(开启算子融合)

待比对数据

表6 量化 vs 量化输入数据要求

文件

说明

获取方式

量化离线模型文件(*.om)(关闭算子融合)

量化离线模型文件(*.om)(开启算子融合)

模型文件

准备离线模型文件

量化离线模型(关闭算子融合)在昇腾AI处理器上运行生成的dump数据文件

标杆数据

准备离线模型dump数据文件

量化离线模型(开启算子融合)在昇腾AI处理器上运行生成的dump数据文件

待比对数据