总体说明

- 对于该场景需要排查场景约束。
- 本场景仅针对相同芯片之间的比对。
- Ascend NPU vs Ascend NPU场景仅支持非量化离线模型 vs 非量化离线模型和量化离线模型 vs 量化离线模型场景的精度比对。
版本迭代前后精度比对
对于进行ATC转换后的离线模型,由于CANN软件版本迭代、模型版本迭代或模型进行优化,需要判断迭代、优化后的模型在昇腾AI处理器上运行是否存在精度下降问题。分为非量化 vs 非量化和量化 vs 量化,输入数据准备如下。
文件 |
说明 |
获取方式 |
---|---|---|
非量化离线模型在昇腾AI处理器上运行生成的dump数据文件(版本迭代前) |
标杆数据 |
|
非量化离线模型在昇腾AI处理器上运行生成的dump数据文件(版本迭代后) |
待比对数据 |
文件 |
说明 |
获取方式 |
---|---|---|
量化离线模型在昇腾AI处理器上运行生成的dump数据文件(版本迭代前) |
标杆数据 |
|
量化离线模型在昇腾AI处理器上运行生成的dump数据文件(版本迭代后) |
待比对数据 |
同一模型切换推理芯片场景的精度比对
当同一离线模型切换了推理芯片,为了了解是否存在精度下降问题,那么可以将切换前的离线模型dump数据与切换后的离线模型dump数据进行比对。
例如在Atlas 200/300/500 推理产品下运行的离线模型切换到Atlas 推理系列产品下运行,判断是否存在精度下降问题,需要进行如下步骤:
- 获取到原始模型并重新执行ATC模型转换。
参见准备离线模型文件执行,要求分别指定--soc_version,且跳过3,即两个模型均关闭算子融合转换离线模型,保证所有算子均可比对。
- 获取离线模型dump数据。
参见表3或表4获取,标杆数据为Atlas 200/300/500 推理产品下运行的dump数据,待比对数据为Atlas 推理系列产品下运行的dump数据。
- 执行精度比对。
参见比对操作和分析,需要取消-f和-cf参数,否则无法比对。
文件 |
说明 |
获取方式 |
---|---|---|
非量化离线模型在昇腾AI处理器上运行生成的dump数据文件(Ascend NPU A) |
标杆数据 |
|
非量化离线模型在昇腾AI处理器上运行生成的dump数据文件(Ascend NPU B) |
待比对数据 |
开启和关闭算子融合功能模型转换的精度比对
一般情况下转换离线模型是默认开启算子融合功能的。为了排查融合后的算子产生的精度问题,可以先dump开融合的数据文件,再关闭算子融合功能进行模型转换,dump关融合的数据文件,最后讲开关融合的dump数据文件进行比对。
改场景分为非量化 vs 非量化和量化 vs 量化,输入数据准备如下。
文件 |
说明 |
获取方式 |
---|---|---|
非量化离线模型文件(*.om)(关闭算子融合) 非量化离线模型文件(*.om)(开启算子融合) |
模型文件 |
|
非量化离线模型在昇腾AI处理器上运行生成的dump数据文件(关闭算子融合) |
标杆数据 |
|
非量化离线模型在昇腾AI处理器上运行生成的dump数据文件(开启算子融合) |
待比对数据 |
文件 |
说明 |
获取方式 |
---|---|---|
量化离线模型文件(*.om)(关闭算子融合) 量化离线模型文件(*.om)(开启算子融合) |
模型文件 |
|
量化离线模型(关闭算子融合)在昇腾AI处理器上运行生成的dump数据文件 |
标杆数据 |
|
量化离线模型(开启算子融合)在昇腾AI处理器上运行生成的dump数据文件 |
待比对数据 |