校准执行过程中提示“[IfmrQuantWithoutOffset]scale is illegal”

问题描述

在调用ONNX Runtime框架执行中间校准模型推理过程中，由于输入数据范围不合法，导致量化算法计算得到的scale不合理，从而校准过程失败，终止校准流程。

可能原因

原始数据不在 $\text{[math]}$ 范围：（其中EPSILON包括DBL_EPSILON double类型，FLT_EPSILON float类型，当前使用的是FLT_EPSILON类型）

AMCT量化支持计算得到的最大 $\text{[math]}$ ，因为在昇腾AI处理器量化动作做的是乘法计算： $\text{[math]}$ ，如果scale大于 $\text{[math]}$ ， $\text{[math]}$ 会小于FLT_EPSILON，此时量化后结果就不可信。因此AMCT量化算法仅支持原始数据范围在 $\text{[math]}$ 内进行量化，否则会提示不支持并提示错误信息。

      
       
         
         
           [ERROR][IfmrQuantWithoutOffset][183] [IfmrQuantWithoutOffset]scale is illegal.
[ERROR][ProcessScale][64] Not support scale greater than 1 / FLT_EPSILON. currentScale: 1513411575808.000000
[ERROR][IfmrQuantWithoutOffset][183] [IfmrQuantWithoutOffset]scale is illegal.
[ERROR][ProcessScale][64] Not support scale greater than 1 / FLT_EPSILON. currentScale: 1492095991808.000000
[ERROR][CalScaleWithoutOffset][146] [CalScaleWithoutOffset]scale failed.
[ERROR][IfmrQuantCalibration][264] CalScaleWithoutOffset failed.
[ERROR][DoCalibration][126] Do IFMR calibration failed, error code: -65519.
Traceback (most recent call last):
  File "/g/daily/xxx/bin/amct_onnx", line 8, in <module>
    sys.exit(main())
  File "/g/daily/xxx/lib/python3.9/site-packages/amct_onnx/cmd_line_tools/command.py", line 159, in main
    calibration_function(args_var)
  File "/g/daily/xxx/lib/python3.9/site-packages/amct_onnx/cmd_line_tools/command.py", line 113, in calibration_function
    amct.save_model(
  File "/g/daily/xxx/lib/python3.9/site-packages/amct_onnx/common/utils/check_params.py", line 43, in wrapper
    return func(*args, **kwargs)
  File "/g/daily/xxx/lib/python3.9/site-packages/amct_onnx/quantize_tool.py", line 277, in save_model
    RecordFileParser.cmp_config(records)
  File "/g/daily/xxx/lib/python3.9/site-packages/amct_onnx/parser/parse_record_file.py", line 96, in cmp_config
    raise RuntimeError(
RuntimeError: batchmatmul_7 is quantizable in config but has no record in record_file

          

        

      
     

处理建议

根据提示信息，跳过日志中的量化层，例如上述提示信息中的batchmatmul_7 层。

父主题： FAQ