安装前准备

昇腾模型压缩工具用户准备

支持任意用户（root或者非root）安装昇腾模型压缩工具，本章节以非root用户为例进行操作。

若使用root用户安装，则不需要操作该章节，不需要对root用户做任何设置。
若使用已存在的非root用户安装，须保证该用户对$HOME目录具有读写以及可执行权限。
若使用新的非root用户安装，请参考如下步骤进行创建，如下操作请在root用户下执行。本手册以该种场景为例执行昇腾模型压缩工具的安装。
1. 执行以下命令创建昇腾模型压缩工具安装用户并设置该用户的$HOME目录。
```
useradd -d /home/username -m username
```
2. 执行以下命令设置密码。
```
passwd username
```
  username为安装昇腾模型压缩工具的用户名，该用户的umask值不能小于0027：
  
  若要查看umask的值，则执行命令：umask
  
  若要修改umask的值，则执行命令：umask 新的取值

系统要求和环境检查

本章节以Ubuntu 20.04为例，详述安装前准备，版本配套信息如下：

表1 配套版本信息
类别	版本限制	获取方式	注意事项
操作系统及版本	Ubuntu 20.04 x86_64	请从Ubuntu官网下载对应版本软件进行安装，安装完成后查询命令为： *cat /etc/release && uname -m**	支持基于CPU，GPU的量化。
操作系统及版本	Ubuntu 20.04 aarch64	请从Ubuntu官网下载对应版本软件进行安装，安装完成后查询命令为： *cat /etc/release && uname -m**	支持基于CPU，GPU的量化。
ONNX和Opset	1.9.0、1.8.0 推荐使用1.9.0 ONNX 1.9.0配套Opset v8~v14，ONNX Runtime 1.8.0，Python3.9.2 ONNX 1.8.0配套Opset v8~v13，ONNX Runtime 1.6.0，Python3.7.5	请参见安装依赖。	仅支持ai.onnx算子域中Opset v8~v14版本的算子。 ONNX 1.7.0和ONNX Runtime 1.5.2仍旧支持量化，但该场景下不支持Opset v13/v14版本的算子，建议用户使用版本限制列的配套版本进行量化。 1.8.0版本ONNX Runtime存在的已知问题：当部署在具有性能和高效内核（P核和E核）混合架构功能的英特尔第12代处理器上时，可能会导致分段错误。详情及其他已知问题请单击Link进行查看。 ONNX 1.9.0+ONNX Runtime 1.8.0 GPU版本+Python3.9.2配套关系下进行量化，如果量化后仿真模型的推理结果与预期差距较大，则请参见推理结果与预期差异较大解决。
ONNX Runtime	1.8.0、1.6.0	ONNX执行框架，请参见安装依赖。
CUDA、cuDNN	CUDA支持和11.0或10.2 cuDNN支持8.0.5或8.0.3	请用户自行获取相关软件包进行安装。 CUDA获取路径：https://developer.nvidia.com/cuda-toolkit-archive cuDNN获取路径：https://developer.nvidia.com/zh-cn/cudnn	如果使用ONNX Runtime GPU模式执行量化功能，则CUDA、cuDNN软件必须安装。 ONNX Runtime 1.8.0版本对应的CUDA版本为11.0，cuDNN版本为8.0.5 ONNX Runtime 1.6.0版本对应的CUDA版本为10.2，cuDNN版本为8.0.3
Python	Python3.7.x（3.7.5~3.7.11）、Python3.8.x（3.8.0~3.8.11）、Python3.9.x（3.9.0~3.9.2）推荐使用Python3.9.2	Ubuntu操作系统请参见安装Python3.9.2（Ubuntu）。	安装依赖时，请确保服务器能够连接网络。说明：本手册以Python3.9.2为例进行介绍，相应环境变量和安装命令以实际安装Python版本为准。
numpy	1.20.0~1.23.5	请参见安装依赖。
protobuf	3.13.0+	请参见安装依赖。

安装依赖

请使用昇腾模型压缩工具的安装用户安装依赖的软件，如果安装用户为非root，请确保该用户拥有sudo权限，请使用su - username命令切换到非root用户执行如下命令。

表2 依赖列表
依赖名称	版本号	安装命令
ONNX	1.9.0、1.8.0	ONNX 1.9.0版本 pip3 install onnx==1.9.0 --user ONNX 1.8.0版本 pip3 install onnx==1.8.0 --user
ONNX Runtime	1.8.0、1.6.0	ONNX Runtime 1.8.0版本安装ONNX Runtime CPU版本 pip3 install onnxruntime==1.8.0 --user 安装ONNX Runtime GPU版本，安装GPU版本之前请先安装CUDA11.0、cuDNN 8.0.5。 pip3 install onnxruntime-gpu==1.8.0 --user ONNX Runtime 1.6.0版本安装ONNX Runtime CPU版本 pip3 install onnxruntime==1.6.0 --user 安装ONNX Runtime GPU版本，安装GPU版本之前请先安装CUDA10.2、cuDNN 8.0.3。 pip3 install onnxruntime-gpu==1.6.0 --user
Python	3.9.2	Ubuntu操作系统请参见安装Python3.9.2（Ubuntu）。
numpy	1.20.0~1.23.5	pip3 install numpy==1.20.0 --user
protobuf	3.13.0+	pip3 install protobuf==3.13.0 --user

上传软件包

以昇腾模型压缩工具的安装用户将Ascend-cann-amct_{software version}_linux-{arch}.tar.gz软件包上传到Linux服务器任意目录下，本示例为上传到$HOME/amct/目录。

执行如下命令解压昇腾模型压缩工具软件包：

tar -zxvf Ascend-cann-amct-{software version}_linux-{arch}.tar.gz

获得如下内容：

表3 昇腾模型压缩工具软件包解压后内容
一级目录	二级目录	说明	使用场景及注意事项
amct_caffe/	Caffe框架昇腾模型压缩工具目录。		使用方法请参见《AMCT工具（Caffe）》。量化完的模型，如果要执行推理，则需要借助安装昇腾AI处理器的推理环境。
	amct_caffe-{version}-py3-none-linux_{arch}.whl	Caffe框架昇腾模型压缩工具安装包。
	caffe_patch.tar.gz	Caffe源代码增强包。
amct_tf/	TensorFlow框架昇腾模型压缩工具目录。
	amct_tensorflow-{version}-py3-none-linux_{arch}.tar.gz	TensorFlow框架昇腾模型压缩工具安装包，通过源码编译方式进行安装。	amct_tensorflow与amct_tensorflow_ascend软件包不能同时安装。使用方法请参见《AMCT工具（TensorFlow）》。量化完的模型，如果要执行推理，则需要借助安装昇腾AI处理器的推理环境。
	amct_tensorflow_ascend-{version}-py3-none-linux_{arch}.tar.gz	基于TF_Adapter的昇腾模型压缩工具安装包，通过源码编译方式进行安装。	amct_tensorflow与amct_tensorflow_ascend软件包不能同时安装。 Atlas 200/300/500 推理产品：该版本不支持amct_tensorflow_ascend目录下的相关特性。 Atlas 推理系列产品：该版本不支持amct_tensorflow_ascend目录下的相关特性。使用方法请参见《AMCT工具（TensorFlow,Ascend）》。量化完的模型，可以基于昇腾AI处理器完成在线推理业务，因此需要搭建在线推理环境。
amct_pytorch/	PyTorch框架昇腾模型压缩工具目录。		使用方法请参见《AMCT工具（PyTorch）》。量化完的模型，如果要执行推理，则需要借助安装昇腾AI处理器的推理环境。
amct_pytorch/	amct_pytorch-{version}-py3-none-linux_{arch}.tar.gz	PyTorch框架昇腾模型压缩工具源码安装包。
amct_onnx/	ONNX模型昇腾模型压缩工具目录。		使用方法请参见《AMCT工具（ONNX）》。量化完的模型，如果要执行推理，则需要借助安装昇腾AI处理器的推理环境。
	amct_onnx-{version}-py3-none-linux_{arch}.whl	ONNX模型昇腾模型压缩工具安装包。
	amct_onnx_op.tar.gz	昇腾模型压缩工具基于ONNX Runtime的自定义算子包。
amct_ms/	MindSpore框架昇腾模型压缩工具目录。		Atlas 200/300/500 推理产品：该版本不支持amct_ms目录下的相关特性。 Atlas 推理系列产品：该版本不支持amct_ms目录下的相关特性。使用方法请参见《AMCT工具（MindSpore）》。将MindSpore模型量化后输出为*.air格式模型，只能借助带NPU设备的训练环境，量化后的模型要进行推理，也可以借助该环境完成。
amct_ms/	amct_mindspore-{version}-py3-none-linux_{arch}.whl	MindSpore框架昇腾模型压缩工具安装包。
amct_acl/	基于AscendCL接口的昇腾模型压缩工具目录。		只有Atlas 训练系列产品支持该目录下的特性。使用方法请参见《AMCT工具（AscendCL接口方式）》。
amct_acl/	Ascend-amct_acl-{software version}-linux.{arch}.run	基于AscendCL接口的昇腾模型压缩工具安装包。
third_party/	Ascend-nca-{software version}-linux.{arch}.run	NCA（Neural Compute Agent）软件包。	基于性能的自动量化场景下使用。当前版本暂不支持该功能。

其中：{version}表示昇腾模型压缩工具具体版本号，{software version}为软件版本号，{arch}表示具体操作系统架构。

父主题： 工具安装