文档
注册
评分
提单
论坛
小AI

量化配置参数说明

表1 retrain_enable参数说明

作用

该层是否进行量化感知训练。

类型

bool

取值范围

true或false

参数说明

  • true:该层需要进行量化感知训练。
  • false:该层不进行量化感知训练。

推荐配置

true

必选或可选

可选

表2 retrain_data_config参数说明

作用

该层数据量化配置。

类型

dict

取值范围

-

参数说明

包含如下参数:

  • batch_num:量化使用的batch数量。
  • clip_max:截断量化算法上限,默认不选。
  • clip_min:截断量化算法下限,默认不选。
  • fixed_min:截断量化算法最小值固定为0,默认不选。
  • dst_type:当前仅支持INT8量化位宽,默认为INT8。

推荐配置

-

必选或可选

可选

表3 retrain_weight_config参数说明

作用

该层权重量化配置。

类型

dict

取值范围

-

参数说明

包含如下参数:

  • algo:量化算法选择,默认是arq_retrain
  • channel_wise

推荐配置

-

必选或可选

可选

表4 algo参数说明

作用

该层选择使用的量化算法。

类型

string

取值范围

-

参数说明

  • ulq_retrain:ulq截断上下限量化算法。
  • arq_retrain:arq量化算法。

推荐配置

数据量化使用ulq_retrain,权重量化使用arq_retrain。

必选或可选

可选

表5 channel_wise参数说明

作用

是否对每个channel采用不同的量化因子。

类型

bool

取值范围

true或false

参数说明

  • true:每个channel独立量化,量化因子不同。
  • false:每个channel同时量化,共享量化因子。

推荐配置

true

必选或可选

可选

表6 batch_num参数说明

作用

量化使用的batch数量。

类型

int

取值范围

大于0

参数说明

如果不配置,则使用默认值1,建议校准集图片数量不超过50张,根据batch的大小batch_size计算相应的batch_num数值。

batch_num*batch_size为量化使用的校准集图片数量。

其中batch_size为每个batch所用的图片数量。

推荐配置

1

必选或可选

可选

表7 fixed_min参数说明

作用

设置数据量化算法下限的开关。

类型

bool

取值范围

true或false

参数说明

  • true:数据量化算法固定下限,并且下限为0。
  • false:数据量化算法不固定下限。

推荐配置

不选此项

必选或可选

可选

表8 clip_max参数说明

作用

数据量化算法上限。

类型

float

取值范围

clip_max>0

根据不同层activation的数据分布找到最大值max,推荐取值范围为:0.3*max~1.7*max

参数说明

截断上下限数据量化算法,如果选择此项则固定算法截断上限。 如果不选此项,通过ifmr算法学习获取上限。

推荐配置

不选此项

必选或可选

可选

表9 clip_min参数说明

作用

数据量化算法下限。

类型

float

取值范围

clip_min<0

根据不同层activation的数据分布找到最小值min,推荐取值范围为:0.3*min~1.7*min

参数说明

截断上下限数据量化算法,如果选择此项则固定算法截断下限。 如果不选此项,通过ifmr算法学习获取下限。

推荐配置

不选此项

必选或可选

可选

表10 dst_type参数说明

作用

量化位宽的类型。

类型

string

取值范围

当前只支持INT8,默认为INT8

参数说明

量化时用于选择是量化位宽。

推荐配置

-

必选或可选

可选

搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词