校准执行过程中提示“[IFMR]: Do layer xxx data calibration failed!”
问题描述
在调用PyTorch框架执行中间校准模型推理过程中,由于输入数据范围不合法,导致量化算法计算得到的scale不合理,从而校准过程失败,终止校准流程。
可能原因
原始数据不在范围:(其中EPSILON包括DBL_EPSILON double类型,FLT_EPSILON float类型,当前使用的是FLT_EPSILON类型)
AMCT量化支持计算得到的最大,因为在昇腾AI处理器量化动作做的是乘法计算: , 如果scale大于, 会小于FLT_EPSILON,此时量化后结果就不可信。因此AMCT量化算法仅支持原始数据范围在内进行量化,否则会提示不支持并提示错误信息。
处理建议
根据提示信息,跳过日志中的量化层,例如上述提示信息中的conv_1层。
父主题: FAQ