配置文件及参数说明

量化配置文件

如果通过create_quant_config接口生成的config.json训练后量化配置文件，推理精度不满足要求，则需要参见该章节不断调整config.json文件中的内容，直至精度满足要求，该文件部分内容样例如下（用户修改json文件时，请确保层名唯一。）

{
    "version":1,
    "activation_offset":true,
    "do_fusion":true,
    "skip_fusion_layers":[],
    "conv1":{
        "quant_enable":true,
        "activation_quant_params":{
            "max_percentile":0.999999,
            "min_percentile":0.999999,
            "search_range":[
                0.7,
                1.3
            ],
            "search_step":0.01
            "asymmetric":false
        },
        "weight_quant_params":{
            "channel_wise":true
        }
    },
    "end_point":{
        "quant_enable":true,
        "activation_quant_params":{
            "max_percentile":0.999999,
            "min_percentile":0.999999,
            "search_range":[
                0.7,
                1.3
            ],
            "search_step":0.01
            "asymmetric":false
        },
        "weight_quant_params":{
            "channel_wise":false
        }
    },
    "layer1.0.conv1":{
        "quant_enable":true,
        "activation_quant_params":{
            "max_percentile":0.999999,
            "min_percentile":0.999999,
            "search_range":[
                0.7,
                1.3
            ],
            "search_step":0.01
            "asymmetric":false
        },
        "weight_quant_params":{
            "channel_wise":true
        }
    },
    "layer1.0.conv2":{
        "quant_enable":true,
        "activation_quant_params":{
            "max_percentile":0.999999,
            "min_percentile":0.999999,
            "search_range":[
                0.7,
                1.3
            ],
            "search_step":0.01
            "asymmetric":false
        },
        "weight_quant_params":{
            "channel_wise":true
        }
    }
}

参数说明

配置文件中参数说明如下：

表1 version参数说明
作用	控制量化配置文件版本号。
类型	int
取值范围	1
参数说明	目前仅有一个版本号1。
推荐配置	1
可选或者必选	可选

表2 activation_offset参数说明
作用	控制数据量化是对称量化还是非对称量化。全局配置参数。若配置文件中同时存在activation_offset和asymmetric参数，asymmetric参数优先级>activation_offset参数。
类型	bool
取值范围	true或false
参数说明	true：数据量化时为非对称量化 false：数据量化时为对称量化。
推荐配置	true
必选或可选	可选

表3 do_fusion参数说明
作用	是否开启融合功能。
类型	bool
取值范围	true或false
参数说明	true：开启融合功能。 false：不开启融合功能。当前支持融合的层以及融合规则请参见工具实现的融合功能。
推荐配置	true
可选或必选	可选

表4 skip_fusion_layers参数说明
作用	跳过可融合的层。
类型	string
取值范围	可融合层的层名当前支持融合的层以及融合规则请参见工具实现的融合功能。
参数说明	不需要做融合的层。
推荐配置	-
可选或必选	可选

表5 layer_config参数说明
作用	指定某个网络层的量化配置。
类型	object
取值范围	无
参数说明	参数内部包含如下参数： quant_enable activation_quant_params weight_quant_params
推荐配置	无
必选或可选	可选

表6 quant_enable参数说明
作用	该层是否做量化。
类型	bool
取值范围	true或false
参数说明	true：量化该层。 false：不量化该层。
推荐配置	true
必选或可选	可选

表7 activation_quant_params参数说明
作用	该层数据量化的参数。
类型	object
取值范围	无
参数说明	activation_quant_params内部包含如下参数： max_percentile min_percentile search_range search_step symmetric
推荐配置	无
必选或可选	可选

表8 weight_quant_params参数说明
作用	该层权重量化的参数。
类型	object
取值范围	无
参数说明	包括参数：channel_wise
推荐配置	无
必选或可选	可选

表9 max_percentile参数说明
作用	最大值搜索位置。
类型	float
取值范围	（0.5,1]
参数说明	在从大到小排序的一组数中，决定取第多少大的数，比如有100个数，1.0表示取第100-100*1.0=0，对应的就是第一个大的数。对待量化的数据做截断处理时，该值越大，说明截断的上边界越接近待量化数据的最大值。
推荐配置	0.999999
必选或可选	可选

**表10** min_percentile参数说明
作用	最小值搜索位置。
类型	float
取值范围	（0.5,1]
参数说明	在从小到大排序的一组数中，决定取第多少小的数，比如有100个数，1.0表示取第100-100*1.0=0，对应的就是第一个小的数。对待量化的数据做截断处理时，该值越大，说明截断的下边界越接近待量化数据的最小值。
推荐配置	0.999999
必选或可选	可选

**表11** search_range参数说明
作用	控制量化因子的搜索范围[search_range_start, search_range_end]。
类型	list，列表中两个元素类型为float
取值范围	0<search_range_start<search_range_end
参数说明	控制截断的上边界的浮动范围。 search_range_start：决定搜索开始的位置。 search_range_end：决定搜索结束的位置。
推荐配置	[0.7,1.3]
必选或可选	可选

**表12** search_step参数说明
作用	控制量化因子的搜索步长。
类型	float
取值范围	(0, (search_range_end-search_range_start)]
参数说明	控制截断的上边界的浮动范围步长，值越小，浮动步长越小。搜索次数search_iteration=(search_range_end-search_range_start)/search_step，如果搜索次数过大，搜索时间会很长，该场景下将会导致类似进程卡死的问题。
推荐配置	0.01
必选或可选	可选

**表13** asymmetric参数说明
作用	控制数据量化是对称量化还是非对称量化。用于控制逐层量化算法的选择。若配置文件中同时存在activation_offset和asymmetric参数，asymmetric参数优先级>activation_offset参数。
类型	bool
取值范围	true或false
参数说明	true：数据量化时为非对称量化。 false：数据量化时为对称量化。
推荐配置	true
必选或可选	可选

**表14** channel_wise参数说明
作用	是否对每个channel采用不同的量化因子。
类型	bool
取值范围	true或false
参数说明	true：每个channel独立量化，量化因子不同。 false：所有channel同时量化，共享量化因子。说明：全连接层（nn.Dense）不支持channel_wise设置为true。
推荐配置	true
必选或可选	可选

父主题： 手动调优