安装前准备
昇腾模型压缩工具用户准备
支持任意用户(root或者非root)安装昇腾模型压缩工具,本章节以非root用户为例进行操作。
- 若使用root用户安装,则不需要操作该章节,不需要对root用户做任何设置。
- 若使用已存在的非root用户安装,须保证该用户对$HOME目录具有读写以及可执行权限。
- 若使用新的非root用户安装,请参考如下步骤进行创建,如下操作请在root用户下执行。本手册以该种场景为例执行昇腾模型压缩工具的安装。
- 执行以下命令创建昇腾模型压缩工具安装用户并设置该用户的$HOME目录。
useradd -d /home/username -m username
- 执行以下命令设置密码。
passwd username
username为安装昇腾模型压缩工具的用户名,该用户的umask值不能小于0027:- 若要查看umask的值,则执行命令:umask
- 若要修改umask的值,则执行命令:umask 新的取值
- 执行以下命令创建昇腾模型压缩工具安装用户并设置该用户的$HOME目录。
系统要求和环境检查
本章节以Ubuntu 20.04为例,详述安装前准备,版本配套信息如下:
类别 |
版本限制 |
获取方式 |
备注 |
---|---|---|---|
操作系统及版本 |
Ubuntu 20.04 x86_64 |
请从Ubuntu官网下载对应版本软件进行安装,安装完成后查询命令为: cat /etc/*release && uname -m |
支持基于CPU,GPU的量化。 |
操作系统及版本 |
Ubuntu 20.04 aarch64 |
请从Ubuntu官网下载对应版本软件进行安装,安装完成后查询命令为: cat /etc/*release && uname -m |
支持基于CPU,GPU的量化。 |
操作系统及版本 |
KylinV10SP1 x86_64 |
- |
仅支持基于CPU量化。 |
操作系统及版本 |
openEuler 20.03 x86_64 |
- |
仅支持基于CPU量化。 |
操作系统及版本 |
UOS20 aarch64 |
- |
仅支持基于CPU量化。 |
CUDA toolkit/CUDA driver |
11.2或10.0 |
请用户自行获取相关软件包进行安装,例如可以参见如下链接获取相关toolkit包,该包中包括driver软件包。 |
如果使用GPU模式执行量化功能,则CUDA软件必须安装。
|
Python |
Python3.7.x(3.7.5~3.7.11)、Python3.8.x(3.8.0~3.8.11)、Python3.9.x(3.9.0~3.9.2) 推荐使用Python3.9.2 |
Ubuntu、KylinV10SP1、openEuler和UOS操作系统请参见安装Python3.9.2(Ubuntu)。 |
安装依赖时,请确保服务器能够连接网络。
说明:
本手册以Python3.9.2为例进行介绍,相应环境变量和安装命令以实际安装Python版本为准。 |
TensorFlow |
2.6.5或1.15.0 |
请参见安装依赖。 |
TensorFlow版本与Python版本的对应关系:
|
numpy |
1.16.0~1.23.5或1.20.0~1.23.5 |
请参见安装依赖。 |
|
protobuf |
3.13.0+ |
请参见安装依赖。 |
- |
安装依赖
请使用昇腾模型压缩工具的安装用户安装依赖的软件,如果安装用户为非root,请确保该用户拥有sudo权限,请使用su - username命令切换到非root用户执行如下命令。
依赖名称 |
版本号 |
安装命令 |
---|---|---|
Python |
3.9.2或3.7.5 |
Ubuntu、KylinV10SP1、openEuler和UOS操作系统请参见安装Python3.9.2(Ubuntu)。 |
TensorFlow |
2.6.5或1.15.0 |
用户根据实际情况选择安装CPU或GPU。
须知:
|
numpy |
1.16.0~1.23.5或1.20.0~1.23.5 |
pip3 install numpy==1.16.0 --user 或pip3 install numpy==1.20.0 --user |
protobuf |
3.13.0+ |
pip3 install protobuf==3.13.0 --user |
上传软件包
以昇腾模型压缩工具的安装用户将Ascend-cann-amct_{software version}_linux-{arch}.tar.gz软件包上传到Linux服务器任意目录下,本示例为上传到$HOME/amct/目录。
执行如下命令解压昇腾模型压缩工具软件包:
tar -zxvf Ascend-cann-amct-{software version}_linux-{arch}.tar.gz
获得如下内容:
一级目录 |
二级目录 |
说明 |
使用场景及注意事项 |
---|---|---|---|
amct_caffe/ |
Caffe框架昇腾模型压缩工具目录。 |
||
amct_caffe-{version}-py3-none-linux_{arch}.whl |
Caffe框架昇腾模型压缩工具安装包。 |
||
caffe_patch.tar.gz |
Caffe源代码增强包。 |
||
amct_tf/ |
TensorFlow框架昇腾模型压缩工具目录。 |
||
amct_tensorflow-{version}-py3-none-linux_{arch}.tar.gz |
TensorFlow框架昇腾模型压缩工具安装包,通过源码编译方式进行安装。 |
||
amct_tensorflow_ascend-{version}-py3-none-linux_{arch}.tar.gz |
基于TF_Adapter的昇腾模型压缩工具安装包,通过源码编译方式进行安装。 |
||
amct_pytorch/ |
PyTorch框架昇腾模型压缩工具目录。 |
||
amct_pytorch-{version}-py3-none-linux_{arch}.tar.gz |
PyTorch框架昇腾模型压缩工具源码安装包。 |
||
amct_onnx/ |
ONNX模型昇腾模型压缩工具目录。 |
||
amct_onnx-{version}-py3-none-linux_{arch}.whl |
ONNX模型昇腾模型压缩工具安装包。 |
||
amct_onnx_op.tar.gz |
昇腾模型压缩工具基于ONNX Runtime的自定义算子包。 |
||
amct_ms/ |
MindSpore框架昇腾模型压缩工具目录。 |
||
amct_mindspore-{version}-py3-none-linux_{arch}.whl |
MindSpore框架昇腾模型压缩工具安装包。 |
||
amct_acl/ |
基于AscendCL接口的昇腾模型压缩工具目录。 |
||
Ascend-amct_acl-{software version}-linux.{arch}.run |
基于AscendCL接口的昇腾模型压缩工具安装包。 |
||
third_party/ |
Ascend-nca-{software version}-linux.{arch}.run |
NCA(Neural Compute Agent)软件包。 |
基于性能的自动量化场景下使用。当前版本暂不支持该功能。 |
其中:{version}表示昇腾模型压缩工具具体版本号,{software version}为软件版本号,{arch}表示具体操作系统架构。