安装前准备

操作系统及版本

Ubuntu 20.04 x86_64

请从Ubuntu官网下载对应版本软件进行安装，安装完成后查询命令为：

cat /etc/*release && uname -m

• 支持基于CPU，GPU的量化。
• PyTorch框架AMCT包安装时，默认为8线程编译，故需要操作系统运行内存>=12G。

操作系统及版本

Ubuntu 20.04 aarch64

请从Ubuntu官网下载对应版本软件进行安装，安装完成后查询命令为：

cat /etc/*release && uname -m

• 支持基于CPU，GPU的量化。
• PyTorch框架AMCT包安装时，默认为8线程编译，故需要操作系统运行内存>=12G。

PyTorch

1.10.0、1.8.0、1.5.0、1.4.0

推荐使用1.10.0

• PyTorch 1.10.0配套ONNX 1.9.0，ONNX Runtime 1.8.0，Python3.9.2
• PyTorch 1.8.0、1.5.0、1.4.0配套ONNX 1.8.0，ONNX Runtime 1.6.0，Python3.7.5

用户根据实际情况选择安装CPU或GPU，请参见安装依赖。

1.4.0版本不再推荐使用，使用时会有告警提示信息。

CUDA toolkit/CUDA driver

11.1或10.2

请用户自行获取相关软件包进行安装，例如可以参见如下链接获取相关toolkit包，该包中包括driver软件包。

https://developer.nvidia.com/cuda-toolkit-archive

如果使用GPU模式执行量化功能，则CUDA软件必须安装。

• PyTorch 1.10.0版本对应的CUDA版本为11.1
• PyTorch 1.8.0、1.5.0、1.4.0对应的CUDA版本为10.2

ONNX

1.9.0、1.8.0

请参见安装依赖。

• 安装依赖时，请确保服务器能够连接网络。
• 本手册以Python3.9.2为例进行介绍，相应环境变量和安装命令以实际安装Python版本为准。
• 1.8.0版本ONNX Runtime存在的已知问题请单击Link进行查看。

ONNX Runtime

1.8.0、1.6.0

Python

Python3.7.x（3.7.5~3.7.11）、Python3.8.x（3.8.0~3.8.11）、Python3.9.x（3.9.0~3.9.2）

推荐使用Python3.9.2

Ubuntu操作系统请参见安装Python3.9.2（Ubuntu）。

numpy

1.20.0~1.23.5

请参见安装依赖。

protobuf

3.13.0+

PyTorch版本的CPU或GPU

1.10.0、1.8.0、1.5.0、1.4.0

推荐使用1.10.0

安装PyTorch时，请确保pip版本低于23.0.1，否则可能出现如下“ModuleNotFoundError:No module named 'torch' ”错误信息；如果用户pip版本高于23.0.1，且不想降低版本，则请优先安装wheel包（参考安装命令：pip3 install wheel --user），然后再执行后续操作。

• 1.10.0版本PyTorch，CPU或GPU安装命令（推荐使用1.10.0版本）：
  • CPU版本安装命令：

    python3 -m pip --trusted-host=download.pytorch.org install torch==1.10.0+cpu torchvision==0.11.0+cpu  -f https://download.pytorch.org/whl/torch_stable.html --user

  • GPU版本安装命令：

    python3 -m pip --trusted-host=download.pytorch.org install torch==1.10.0 torchvision==0.11.0  -f https://download.pytorch.org/whl/torch_stable.html --user

• 1.8.0版本PyTorch，CPU或GPU安装命令：
  • CPU版本安装命令：

    python3 -m pip --trusted-host=download.pytorch.org install torch==1.8.0+cpu torchvision==0.9.0+cpu -f https://download.pytorch.org/whl/torch_stable.html --user

  • GPU版本安装命令：

    python3 -m pip --trusted-host=download.pytorch.org install torch==1.8.0+cu101 torchvision==0.9.0+cu101 -f https://download.pytorch.org/whl/torch_stable.html --user

• 1.5.0版本PyTorch，CPU或GPU安装命令：
  • CPU版本安装命令：

    python3 -m pip --trusted-host=download.pytorch.org install torch==1.5.0+cpu torchvision==0.6.0+cpu -f https://download.pytorch.org/whl/torch_stable.html --user

  • GPU版本安装命令：

    python3 -m pip --trusted-host=download.pytorch.org install torch==1.5.0+cu101 torchvision==0.6.0+cu101 -f https://download.pytorch.org/whl/torch_stable.html --user

• 1.4.0版本PyTorch，CPU或GPU安装命令（不再推荐使用，使用时会有告警提示信息）：

  • CPU版本安装命令：

    python3 -m pip --trusted-host=download.pytorch.org install torch==1.4.0+cpu torchvision==0.5.0+cpu -f https://download.pytorch.org/whl/torch_stable.html --user

  • GPU版本安装命令：

    python3 -m pip --trusted-host=download.pytorch.org install torch==1.4.0+cu100 torchvision==0.5.0+cu100 -f https://download.pytorch.org/whl/torch_stable.html --user

ONNX

1.10.0、1.9.0、1.8.0

• ONNX 1.10.0版本

  pip3 install onnx==1.10.0 --user

• ONNX 1.9.0版本

  pip3 install onnx==1.9.0 --user

• ONNX 1.8.0版本

  pip3 install onnx==1.8.0 --user

ONNX Runtime

1.9.0、1.8.0、1.6.0

• ONNX Runtime 1.9.0版本

  pip3 install onnxruntime==1.9.0 --user

• ONNX Runtime1.8.0版本

  pip3 install onnxruntime==1.8.0 --user

• ONNX Runtime1.6.0版本

  pip3 install onnxruntime==1.6.0 --user

python

3.9.2

Ubuntu操作系统请参见安装Python3.9.2（Ubuntu）。

numpy

1.20.0~1.23.5

pip3 install numpy==1.20.0 --user

protobuf

3.13.0+

pip3 install protobuf==3.13.0 --user

amct_caffe/

Caffe框架AMCT目录。

• 使用方法请参见《AMCT工具（Caffe）》。
• 需要搭建Caffe环境，量化完的模型，如果要执行推理，则需要借助安装昇腾AI处理器的推理环境。

amct_caffe-{version}-py3-none-linux_{arch}.whl

Caffe框架AMCT安装包。

caffe_patch.tar.gz

Caffe源代码增强包。

amct_tf/

TensorFlow框架AMCT目录。

amct_tensorflow-{version}-py3-none-linux_{arch}.tar.gz

TensorFlow框架AMCT安装包，通过源码编译方式进行安装。

• amct_tensorflow与amct_tensorflow_ascend软件包不能同时安装。
• 使用方法请参见《AMCT工具（TensorFlow）》。
• 需要搭建TensorFlow环境，量化完的模型，如果要执行推理，则需要借助安装昇腾AI处理器的推理环境。

amct_tensorflow_ascend-{version}-py3-none-linux_{arch}.tar.gz

基于TF_Adapter的AMCT安装包，通过源码编译方式进行安装。

• amct_tensorflow与amct_tensorflow_ascend软件包不能同时安装。
• Atlas 200/300/500 推理产品：不支持amct_tensorflow_ascend目录下的相关特性。
• Atlas 200I/500 A2推理产品：不支持amct_tensorflow_ascend目录下的相关特性。
• Atlas 推理系列产品：不支持amct_tensorflow_ascend目录下的相关特性。
• 使用方法请参见《AMCT工具（TensorFlow,Ascend）》。
• 需要搭建TensorFlow环境，并借助带有NPU设备的在线推理环境，量化完的模型，可以基于昇腾AI处理器完成在线推理业务。

amct_pytorch/

PyTorch框架AMCT目录。

• 使用方法请参见《AMCT工具（PyTorch）》。
• 需要搭建PyTorch环境，量化完的模型，如果要执行推理，则需要借助安装昇腾AI处理器的推理环境。

amct_pytorch-{version}-py3-none-linux_{arch}.tar.gz

PyTorch框架AMCT源码安装包。

amct_onnx/

ONNX模型AMCT目录。

• 使用方法请参见《AMCT工具（ONNX）》。

amct_onnx-{version}-py3-none-linux_{arch}.whl

ONNX模型AMCT安装包。

amct_onnx_op.tar.gz

AMCT基于ONNX Runtime的自定义算子包。

amct_ms/

MindSpore框架AMCT目录。

• Atlas 200/300/500 推理产品：不支持amct_ms目录下的相关特性。
• Atlas 200I/500 A2推理产品：不支持amct_ms目录下的相关特性。
• Atlas 推理系列产品：不支持amct_ms目录下的相关特性。
• 使用方法请参见《AMCT工具（MindSpore）》。
• 需要搭建MindSpore环境，并借助带NPU设备的训练环境，将MindSpore模型量化后输出为*.air格式模型，只能借助带NPU设备的训练环境，量化后的模型要进行推理，也可以借助该环境完成。

amct_mindspore-{version}-py3-none-linux_{arch}.whl

MindSpore框架AMCT安装包。

conf/

-

-

记录包的安装信息，用户无需关注。