总体说明
- 对于该场景需要排查比对结果说明。
- 本场景仅针对相同芯片之间的比对。
- Ascend NPU vs Ascend NPU场景仅支持非量化离线模型 vs 非量化离线模型和量化离线模型 vs 量化离线模型场景的精度比对。
版本迭代前后精度比对
对于进行ATC转换后的离线模型，由于CANN软件版本迭代、模型版本迭代或模型进行优化，需要判断迭代、优化后的模型在昇腾AI处理器上运行是否存在精度下降问题。分为非量化 vs 非量化和量化 vs 量化，输入数据准备如下。
文件 |
说明 |
获取方式 |
|---|---|---|
非量化离线模型在昇腾AI处理器上运行生成的dump数据文件（版本迭代前） |
标杆数据 |
离线推理场景各框架获取NPU环境的dump数据方法一致，请参考： |
非量化离线模型在昇腾AI处理器上运行生成的dump数据文件（版本迭代后） |
待比对数据 |
文件 |
说明 |
获取方式 |
|---|---|---|
量化离线模型在昇腾AI处理器上运行生成的dump数据文件（版本迭代前） |
标杆数据 |
离线推理场景各框架获取NPU环境的dump数据方法一致，请参考： |
量化离线模型在昇腾AI处理器上运行生成的dump数据文件（版本迭代后） |
待比对数据 |
同一模型切换推理芯片场景的精度比对
当同一离线模型切换了推理芯片，为了了解是否存在精度下降问题，那么可以将切换前的离线模型dump数据与切换后的离线模型dump数据进行比对。
例如在
- 获取到原始模型并重新执行ATC模型转换。
- 获取离线模型dump数据。
- 执行精度比对。
参见比对操作和分析，需要取消-f和-cf参数，否则无法比对。
文件 |
说明 |
获取方式 |
|---|---|---|
非量化离线模型在昇腾AI处理器上运行生成的dump数据文件（Ascend NPU A） |
标杆数据 |
离线推理场景各框架获取NPU环境的dump数据方法一致，请参考： |
非量化离线模型在昇腾AI处理器上运行生成的dump数据文件（Ascend NPU B） |
待比对数据 |
开启和关闭算子融合功能模型转换的精度比对
一般情况下转换离线模型是默认开启算子融合功能的。为了排查融合后的算子产生的精度问题，可以先dump开融合的数据文件，再关闭算子融合功能进行模型转换，dump关融合的数据文件，最后将开融合和关融合的dump数据文件进行比对。
改场景分为非量化 vs 非量化和量化 vs 量化，输入数据准备如下。
文件 |
说明 |
获取方式 |
|---|---|---|
非量化离线模型文件（*.om）（关闭算子融合） 非量化离线模型文件（*.om）（开启算子融合） |
模型文件 |
|
非量化离线模型在昇腾AI处理器上运行生成的dump数据文件（关闭算子融合） |
标杆数据 |
离线推理场景各框架获取NPU环境的dump数据方法一致，请参考： |
非量化离线模型在昇腾AI处理器上运行生成的dump数据文件（开启算子融合） |
待比对数据 |
文件 |
说明 |
获取方式 |
|---|---|---|
量化离线模型文件（*.om）（关闭算子融合） 量化离线模型文件（*.om）（开启算子融合） |
模型文件 |
|
量化离线模型（关闭算子融合）在昇腾AI处理器上运行生成的dump数据文件 |
标杆数据 |
离线推理场景各框架获取NPU环境的dump数据方法一致，请参考： |
量化离线模型（开启算子融合）在昇腾AI处理器上运行生成的dump数据文件 |
待比对数据 |