--quant_dumpable
功能说明
是否采集量化算子的dump数据。
参考模型推理精度提升建议进行精度定位时,如果存在AMCT量化后的模型,该模型转成om离线模型时,图编译过程中可能优化量化算子的输入输出,从而影响量化算子dump数据的导出,例如:两个被量化的卷积计算,中间输出被优化为int8的量化后输出。
为此引入--quant_dumpable参数,使能该参数后,量化算子的输入输出不做融合,并且会插入transdata算子,还原原始模型的格式,从而能采集到量化算子的dump数据。
关联参数
无。
参数取值
- 0:图编译过程中可能优化量化算子的输入输出,此时无法获取量化算子的dump数据。默认为0。
- 1:开启此配置后,可确保能够采集量化算子的dump数据。
推荐配置及收益
开启Data Dump的场景下,建议该参数设置为1,确保可以采集量化算子的dump数据。
示例
--quant_dumpable=1
支持的型号
Atlas 200/300/500 推理产品
Atlas 推理系列产品
Atlas 训练系列产品
Atlas 200/500 A2推理产品
Atlas A2训练系列产品/Atlas 800I A2推理产品
父主题: 模型调优选项