本章节以压缩特性中的量化功能为例,为您介绍如何使用AMCT压缩一个模型。
AMCT支持命令行方式和Python API接口方式量化原始网络模型,命令行方式相比Python API接口方式有以下优点:
命令行方式 |
Python API接口方式 |
---|---|
量化准备动作简单,只需准备模型和模型匹配的数据集即可。 |
需要了解Python语法和量化流程。 |
量化过程简单,只涉及参数选择,无需对量化脚本进行适配。 |
需要适配修改量化脚本。 |
当前仅支持训练后量化中的均匀量化。 |
支持量化的所有功能。 |
本章节以sample中ResNet-50网络模型为例,为您介绍如何借助命令行参数快速体验量化一个模型,Python API接口方式请参见量化。
切换到amct_sample目录,执行如下命令解压sample包。
unzip samples-master.zip cd samples-master/python/level1_single_api/9_amct/amct_caffe/cmd
获得如下目录信息:
|-- README_CN.md |-- data # 数据集存放目录 |-- model # Caffe模型文件所在目录 |-- scripts | |-- run_calibration.sh # 执行量化封装脚本 | |-- run_customized_calibration.sh # 用户自定义的训练后量化脚本 |-- src |-- download_models.py # 模型文件下载脚本 |-- evaluator.py #系统内置的,基于“Evaluator”基类并且包含evaluator评估器的python脚本 |-- process_data.py # 数据集预处理脚本
其中,--close_certificate_verify参数可选,用于关闭证书验证参数,确保模型正常下载。如果模型下载过程中提示认证失败相关信息,则可以增加该参数重新下载。
若提示如下信息,则说明模型文件下载成功:
[INFO]Download 'ResNet-50-deploy.prototxt' to 'xxx/amct_caffe/cmd/model/ResNet-50-deploy.prototxt' success. [INFO]Download file_name to 'xxx/amct_caffe/cmd/model/ResNet-50-model.caffemodel' success.
用户可以根据提示信息,在amct_caffe/cmd/model路径看到已经下载的模型文件。
cd data mkdir image && cd image wget https://obs-9be7.obs.cn-east-2.myhuaweicloud.com/models/amct_acl/classification/calibration.rar unrar e calibration.rar
python3 ./src/process_data.py
执行完成后,在data目录会生成新的calibration目录,并在该目录生成calibration.bin格式数据集。
amct_caffe calibration --model=./model/ResNet-50-deploy.prototxt --weights=./model/ResNet-50-model.caffemodel --save_path=./results/Resnet-50 --input_shape="data:1,3,224,224" --data_dir="./data/calibration" --data_types="float32"
amct_caffe二进制所在路径为安装用户$HOME/.local/bin目录。用户可以通过amct_caffe calibration --help命令查看命令行涉及的所有参数,关于参数的详细解释以及使用方法请参见命令行参数说明。
INFO - [AMCT]:[Utils]: The weights_file is saved in $HOME/xxx/results/Resnet-50_fake_quant_weights.caffemodel INFO - [AMCT]:[Utils]: The model_file is saved in $HOME/xxx/results/Resnet-50_fake_quant_model.prototxt
量化后生成文件说明如下:
实际量化过程中,如果量化后的模型推理精度不满足要求,则用户可以根据量化后的quant_config.json,自行构造简易配置文件config.cfg,构造原则请参见调优流程。然后使用--calibration_config参数重新进行量化。通过该文件用户可以自行决定校准使用的数据量,以及控制哪些层进行量化等。