快速入门

本章节以压缩特性中的量化功能为例,为您介绍如何使用AMCT压缩一个模型。

AMCT支持命令行方式和Python API接口方式量化原始网络模型,命令行方式相比Python API接口方式有以下优点:

表1 量化方式比较

命令行方式

Python API接口方式

量化准备动作简单,只需准备模型和模型匹配的数据集即可。

需要了解Python语法和量化流程。

量化过程简单,只涉及参数选择,无需对量化脚本进行适配。

需要适配修改量化脚本。

当前仅支持训练后量化中的均匀量化。

支持量化的所有功能。

本章节以sample中ResNet-50网络模型为例,为您介绍如何借助命令行参数快速体验量化一个模型,Python API接口方式请参见量化

  1. 获取sample软件包。

    1. 单击Link获取sample软件包,并上传到AMCT所在服务器任意路径,例如上传到:$HOME/software/AMCT_Pkg/amct_sample
    2. 解压sample软件包。

      切换到amct_sample目录,执行如下命令解压sample包。

      unzip samples-master.zip
      cd samples-master/python/level1_single_api/9_amct/amct_caffe/cmd

      获得如下目录信息:

      |-- README_CN.md
      |-- data                                        # 数据集存放目录
      |-- model                                       # Caffe模型文件所在目录
      |-- scripts
      |   |-- run_calibration.sh                      # 执行量化封装脚本
      |   |-- run_customized_calibration.sh           # 用户自定义的训练后量化脚本
      |-- src
          |-- download_models.py                      # 模型文件下载脚本
          |-- evaluator.py                            #系统内置的,基于“Evaluator”基类并且包含evaluator评估器的python脚本
          |-- process_data.py                         # 数据集预处理脚本

  2. 执行量化

    1. 获取待量化的Caffe网络模型。
      切换到amct_caffe/cmd目录,执行如下命令下载模型文件和权重文件。
      python3 ./src/download_models.py --close_certificate_verify

      其中,--close_certificate_verify参数可选,用于关闭证书验证参数,确保模型正常下载。如果模型下载过程中提示认证失败相关信息,则可以增加该参数重新下载。

      若提示如下信息,则说明模型文件下载成功:

      [INFO]Download 'ResNet-50-deploy.prototxt' to 'xxx/amct_caffe/cmd/model/ResNet-50-deploy.prototxt' success.
      [INFO]Download file_name to 'xxx/amct_caffe/cmd/model/ResNet-50-model.caffemodel' success.

      用户可以根据提示信息,在amct_caffe/cmd/model路径看到已经下载的模型文件。

    2. 准备模型相匹配的二进制数据集。
      1. 切换到amct_caffe/cmd目录,执行如下命令,用于下载校准数据集。
        cd data 
        mkdir image && cd image
        wget https://obs-9be7.obs.cn-east-2.myhuaweicloud.com/models/amct_acl/classification/calibration.rar
        unrar e calibration.rar
      2. 在amct_caffe/cmd目录,执行如下命令将calibration目录下*.jpg格式数据集转换为bin格式数据集。
        python3 ./src/process_data.py

        执行完成后,在data目录会生成新的calibration目录,并在该目录生成calibration.bin格式数据集。

    3. 在任意路径执行如下命令进行网络模型的量化操作。如下命令中使用的目录以及文件均为样例,请以实际为准。
      amct_caffe calibration --model=./model/ResNet-50-deploy.prototxt --weights=./model/ResNet-50-model.caffemodel --save_path=./results/Resnet-50 --input_shape="data:1,3,224,224" --data_dir="./data/calibration" --data_types="float32"

      amct_caffe二进制所在路径为安装用户$HOME/.local/bin目录。用户可以通过amct_caffe calibration --help命令查看命令行涉及的所有参数,关于参数的详细解释以及使用方法请参见命令行参数说明

      AMCT的sample还提供了2.c量化命令以及2.b.ii中数据集预处理脚本的封装脚本run_calibration.sh,用户准备完模型以及下载好数据集后,可以直接使用该脚本执行量化,切换到amct_caffe/cmd目录,执行如下命令:

      bash ./scripts/run_calibration.sh
    4. 若提示如下信息且无Error日志信息,则说明模型量化成功。
      INFO - [AMCT]:[Utils]: The weights_file is saved in $HOME/xxx/results/Resnet-50_fake_quant_weights.caffemodel
      INFO - [AMCT]:[Utils]: The model_file is saved in $HOME/xxx/results/Resnet-50_fake_quant_model.prototxt

      量化后生成文件说明如下:

      • amct_log/amct_caffe.log:记录了工具的日志信息,包括量化过程的日志信息。
      • results:
        • ResNet-50_deploy_model.prototxt:量化后的可在昇腾AI处理器部署的模型文件。
        • ResNet-50_deploy_weights.caffemodel:量化后的可在昇腾AI处理器部署的权重文件。
        • ResNet-50_fake_quant_model.prototxt:量化后的可在Caffe环境进行精度仿真模型文件。
        • ResNet-50_fake_quant_weights.caffemodel:量化后的可在Caffe环境进行精度仿真权重文件。
        • ResNet-50_quant.json:量化信息文件(该文件名称和量化后模型名称保持统一),记录了量化模型同原始模型节点的映射关系,用于量化后模型同原始模型精度比对使用。
      • (可选)随机数_时间戳,该目录只有AMCT_LOG_LEVEL=DEBUG时才会生成,设置方法请参见环境变量设置
        • quant_config.json:量化配置文件,描述了如何对模型中的每一层进行量化。如果当前目录已经存在量化配置文件,则再次进行量化时,如果新生成的量化配置文件与已有的文件同名,则会覆盖已有的量化配置文件,否则生成新的量化配置文件。

          实际量化过程中,如果量化后的模型推理精度不满足要求,则用户可以根据量化后的quant_config.json,自行构造简易配置文件config.cfg,构造原则请参见调优流程。然后使用--calibration_config参数重新进行量化。通过该文件用户可以自行决定校准使用的数据量,以及控制哪些层进行量化等。

        • modified_model.prototxt、modified_model.caffemodel:量化过程中生成的中间模型文件。
        • record.txt:记录量化因子的文件。关于该文件的原型定义请参见record记录文件