安装前准备
量化并转换MindSpore模型前,请先完成如下环境准备动作,然后安装昇腾模型压缩工具。
昇腾模型压缩工具用户准备
请使用训练环境下CANN软件包的安装用户安装昇腾模型压缩工具,本章节以非root用户为例进行操作。
环境准备
昇腾模型压缩工具需要在带NPU设备的训练环境下安装,硬件配套关系如下:
类别 |
版本限制 |
获取方式 |
注意事项 |
---|---|---|---|
带NPU设备的训练环境所需操作系统 |
请参见支持的OS清单。 |
仅支持基于NPU的量化。 |
|
MindSpore |
1.6.1 |
安装完后,需要配置环境变量,并建议进行安装验证。 |
|
Python |
Python3.7.x(3.7.5~3.7.11)、Python3.8.x(3.8.0~3.8.11)、Python3.9.x(3.9.0~3.9.2) 推荐使用Python3.9.2 |
昇腾模型压缩工具以及训练环境搭建都需要安装该依赖,具体安装方法请参见《CANN 软件安装指南》>安装开发环境>安装依赖章节。 若需要搭建Python3.9.2环境,则:
|
安装依赖时,请确保服务器能够连接网络。
说明:
本手册以Python3.9.2为例进行介绍,相应环境变量和安装命令以实际安装Python版本为准。 |
numpy |
1.16.0+ |
请参见安装依赖。 |
- |
protobuf |
3.13.0+ |
- |
安装依赖
请参见《CANN 软件安装指南》>安装开发环境>安装OS依赖章节。安装完成后,还需要执行如下命令安装相关依赖。
执行pip3 list命令检查wget、numpy、protobuf 软件是否安装,若提示相应版本信息,则说明已经安装,否则请执行如下安装命令。
依赖名称 |
版本号 |
安装命令 |
---|---|---|
numpy |
1.16.0+ |
pip3 install numpy==1.16.0 --user |
protobuf |
3.13.0+ |
pip3 install protobuf==3.13.0 --user |
wget |
3.2 |
pip3 install wget==3.2 --user |
上传软件包
以昇腾模型压缩工具的安装用户将Ascend-cann-amct_{software version}_linux-{arch}.tar.gz软件包上传到Linux服务器任意目录下,本示例为上传到$HOME/amct/目录。
执行如下命令解压昇腾模型压缩工具软件包:
tar -zxvf Ascend-cann-amct-{software version}_linux-{arch}.tar.gz
获得如下内容:
一级目录 |
二级目录 |
说明 |
使用场景及注意事项 |
---|---|---|---|
amct_caffe/ |
Caffe框架昇腾模型压缩工具目录。 |
||
amct_caffe-{version}-py3-none-linux_{arch}.whl |
Caffe框架昇腾模型压缩工具安装包。 |
||
caffe_patch.tar.gz |
Caffe源代码增强包。 |
||
amct_tf/ |
TensorFlow框架昇腾模型压缩工具目录。 |
||
amct_tensorflow-{version}-py3-none-linux_{arch}.tar.gz |
TensorFlow框架昇腾模型压缩工具安装包,通过源码编译方式进行安装。 |
||
amct_tensorflow_ascend-{version}-py3-none-linux_{arch}.tar.gz |
基于TF_Adapter的昇腾模型压缩工具安装包,通过源码编译方式进行安装。 |
||
amct_pytorch/ |
PyTorch框架昇腾模型压缩工具目录。 |
||
amct_pytorch-{version}-py3-none-linux_{arch}.tar.gz |
PyTorch框架昇腾模型压缩工具源码安装包。 |
||
amct_onnx/ |
ONNX模型昇腾模型压缩工具目录。 |
||
amct_onnx-{version}-py3-none-linux_{arch}.whl |
ONNX模型昇腾模型压缩工具安装包。 |
||
amct_onnx_op.tar.gz |
昇腾模型压缩工具基于ONNX Runtime的自定义算子包。 |
||
amct_ms/ |
MindSpore框架昇腾模型压缩工具目录。 |
||
amct_mindspore-{version}-py3-none-linux_{arch}.whl |
MindSpore框架昇腾模型压缩工具安装包。 |
||
amct_acl/ |
基于AscendCL接口的昇腾模型压缩工具目录。 |
||
Ascend-amct_acl-{software version}-linux.{arch}.run |
基于AscendCL接口的昇腾模型压缩工具安装包。 |
||
third_party/ |
Ascend-nca-{software version}-linux.{arch}.run |
NCA(Neural Compute Agent)软件包。 |
基于性能的自动量化场景下使用。当前版本暂不支持该功能。 |
其中:{version}表示昇腾模型压缩工具具体版本号,{software version}为软件版本号,{arch}表示具体操作系统架构。