下载
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助
昇腾小AI

基础量化

量化示例请参见获取更多样例>resnet50>执行量化感知训练。量化感知训练支持量化的层以及约束如下:

表1 量化感知训练支持的层以及约束

支持的层类型

约束

InnerProduct:全连接层

transpose属性为false,axis为1

Convolution:卷积层

filter维度为4

Deconvolution:反卷积层

group为1、dilation为1、filter维度为4

Pooling:平均下采样层

下采样方式为AVE,且非global pooling

接口调用流程

量化感知训练接口调用流程如图1所示。

图1 量化感知训练接口调用流程
蓝色部分为用户实现,灰色部分为用户调用昇腾模型压缩工具提供的API实现,用户在Caffe原始网络推理的代码中导入库,并在特定的位置调用相应API,即可实现量化功能:
  1. 用户首先构造Caffe的原始模型,然后使用create_quant_retrain_config生成量化配置文件。
  2. 调用create_quant_retrain_model接口对原始Caffe模型进行优化,修改后的模型中插入数据量化、权重量化等相关算子,用于计算量化相关参数;用户使用该模型借助昇腾模型压缩工具提供的数据集和校准集,在Caffe环境中进行重训练,可以得到量化因子。
  3. 执行Caffe train流程,并配置solver,在训练过程中增加TEST过程,并配置TEST iteration数目大于量化配置文件中batch_num数目。
  4. 最后用户调用save_quant_retrain_model接口,插入AscendQuant、AscendDequant等量化算子,保存量化模型:包括可在Caffe环境中进行精度仿真的模型文件和权重文件,以及可部署在昇腾AI处理器的模型文件和权重文件。

调用示例

  1. 量化感知训练场景下对训练过程的建议:

    量化后的训练过程,设置需要与原始训练过程的配置基本保持一致,主要调整如下两点:

    • epoch数:需调整为原始epoch数的1/4~原始epoch数的1/3。
    • 学习率:需调整为初始学习率的1/100左右。
  2. 如下示例标有“由用户补充处理”的步骤,需要用户根据自己的模型和数据集进行补充处理,示例中仅为示例代码。
  3. 调用昇腾模型压缩工具的部分,函数入参可以根据实际情况进行调整。量化感知训练基于用户的训练过程,请确保已经有基于Caffe环境进行训练的脚本,并且训练后的精度正常。
  1. 导入昇腾模型压缩工具包,并通过环境变量设置日志级别。
    import amct_caffe as amct
  2. 设置设备运行模式。

    昇腾模型压缩工具支持CPU或GPU运行模式,若选择GPU模式,需要先设置Caffe的GPU运行设备模式,再设置昇腾模型压缩工具的设备模式;另外因为此处已经指定了运行设备,模型推理函数中无需再次配置运行设备:

    if 'gpu':
        caffe.set_mod_gpu()
        caffe.set_device(gpu_id)
        amct.set_gpu_mode()
    else:
        caffe.set_mode_cpu()
  3. (可选,由用户补充处理)使用原始待量化的模型和测试集,在Caffe环境下推理,验证环境、推理脚本是否正常。

    推荐执行该步骤,请确保原始模型可以完成推理且精度正常;执行该步骤时,可以使用部分测试集,减少运行时间。

    user_test_model(ori_model_file, ori_weights_file, test_data, test_iterations)
  4. 调用昇腾模型压缩工具,量化模型。
    1. 生成量化配置文件。
      config_file = './tmp/config.json'
      amct_caffe.create_quant_retrain_config(config_file=config_file, 
                                             model_file=ori_model_file,
                                             weights_file=ori_weights_file)
    2. 修改模型,插入伪量化层并存为新的模型文件。
      根据量化配置文件对模型进行修改,插入数据量化、权重量化等相关算子,用于计算量化相关参数。
      modified_model_file = './tmp/modified_model.prototxt'
      modified_weights_file = './tmp/modified_model.caffemodel'
      scale_offset_record_file = './tmp/record.txt'
      amct_caffe.create_quant_retrain_model(model_file=ori_model_file,
      				      weights_file=ori_weights_file,
                                            config_file=config_file,
                                            modified_model_file=modified_model_file,
      				      modified_weights_file=modified_weights_file,
                                            scale_offset_record_file=scale_offset_record_file)
    3. (由用户补充处理)使用修改后的模型,创建反向梯度,在训练集上做训练,训练量化因子。
      1. 在solver.prototxt中增加TEST phase(test_interval > 0,test_iter > 0),以触发在TEST phase中执行移位因子N的搜索动作,并且关闭预测test_initialization=false,避免误触发移位因子N的搜索计算。

        solver.prototxt文件需要包含参数示例如下:

        test_iter: 1
        test_interval: 4
        base_lr: 9.999999747378752e-05
        max_iter: 4
        lr_policy: "step"
        gamma: 0.10000000149011612
        momentum: 0.8999999761581421
        weight_decay: 9.999999747378752e-05
        stepsize: 10
        snapshot: 4
        net: "$HOME/amct_path/sample/resnet50/tmp/modified_model.prototxt"
        test_initialization: false
        • test_iter:repeated参数,指定每次TEST执行的测试的迭代次数,由于移位因子N需要在该过程中执行,因此该数目需要大于等于移位因子N的参数batch_num,否则会由于数据不足,移位因子N计算失败。test_iter*batch_size为每次测试的图片数。
        • test_interval:两次测试之间TEST的训练次数,每执行test_interval次训练迭代后会执行TEST过程,该参数默认为0,建议配置为max_iter的因子,sample中配置test_interval==max_iter,即仅完成训练后执行一次TEST。
        • max_iter:训练最大迭代次数。
        • net:训练使用的模型,Caffe支持配置一个net分别用于TRAIN,TEST(通过算子内phase来区 分不同模式需要执行的算子),也可以通过分别指定train_net,test_net来指定不同phase执行的模型;昇腾模型压缩工具仅产生了一个模型,通过算子内部phase来区分不同模式,因子仅支持net,不支持配置train_net,test_net。
        • test_initialization:是否要在训练之前执行原始模型的TEST,数据类型为bool型,默认为True,即执行一次预测试;若设置为True,初始化参数为0,计算出的移位因子N错误,因此需要关掉预测试, 即需要配置test_initialization = False。
        • base_lr、lr_policy、gamma几个参数用于控制学习策略,即learning_rate如何变化。
        • momentum:上一次梯度更新的权重。
        • weight_decay:权重衰减项,防止过拟合的一个参数。
        • snapshot:快照,将训练出来的model和solver状态进行保存,snapshot用于设置训练多少次后进行保存。
      2. 训练模型。
        user_train_model(modified_model_file, modified_weights_file, train_data)

        训练过程中数据量化算子训练得到量化上下限clip_max, clip_min,保存到算子blob中,权重量化算子执行量化参数学习,并保存更新后的参数至模型中。

    4. 保存模型。
      根据量化因子以及用户重训练好的模型,调用save_quant_retrain_model接口,插入AscendQuant、AscendDequant等算子,保存为deploy和fake-quant量化模型。
      quant_model_path = './result/user_model'
      amct.save_quant_retrain_model(retrained_model_file=modified_model_file,
                                    retrained_weights_file=modified_weights_file,
                                    save_type='Both',
                                    save_path=quant_model_path,
                                    scale_offset_record_file=scale_offset_record_file,
                                    config_file=config_file)
  5. (可选,由用户补充处理)使用量化后模型fake_quant_model、fake_quant_weights和测试集,在Caffe环境下推理,测试量化后的仿真模型精度。
    使用量化后仿真模型精度与3中的原始精度做对比,可以观察量化对精度的影响。
    fake_quant_model = './result/user_model_fake_quant_model.prototxt'
    fake_quant_weights = './result/user_model_fake_quant_weights.caffemodel'
    user_test_model(fake_quant_model, fake_quant_weights, test_data, test_iterations)
搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词