AMCT（PyTorch）

操作系统及版本

EulerOS release 2.0 (SP10) aarch64

cat /etc/*release && uname -m

• 仅支持基于CPU量化。
• PyTorch框架AMCT包安装时，默认为8线程编译，故需要操作系统运行内存>=12G。

操作系统及版本

Ubuntu 20.04 x86_64

请从Ubuntu官网下载对应版本软件进行安装，安装完成后查询命令为：

cat /etc/*release && uname -m

• 支持基于CPU，GPU的量化。
• PyTorch框架AMCT包安装时，默认为8线程编译，故需要操作系统运行内存>=12G。

操作系统及版本

Ubuntu 20.04 aarch64

请从Ubuntu官网下载对应版本软件进行安装，安装完成后查询命令为：

cat /etc/*release && uname -m

• 支持基于CPU，GPU的量化。
• PyTorch框架AMCT包安装时，默认为8线程编译，故需要操作系统运行内存>=12G。

PyTorch

2.1.0、1.10.0、1.8.0、1.5.0、1.4.0

• PyTorch 2.1.0配套ONNX 1.14.0，ONNX Runtime 1.16.0，Python3.10.0
• PyTorch 1.10.0配套ONNX 1.9.0，ONNX Runtime 1.8.0，Python3.9.2
• PyTorch 1.8.0、1.5.0、1.4.0配套ONNX 1.8.0，ONNX Runtime 1.6.0，Python3.7.5

用户根据实际情况选择安装CPU或GPU，请参见安装依赖。

• 1.4.0版本不再推荐使用，使用时会有告警提示信息。
• PyTorch 1.8.0及以下版本不支持>=2GB模型的压缩。

CUDA toolkit/CUDA driver

11.8、11.1、10.2

• PyTorch 2.1.0配套CUDA 11.8
• PyTorch 1.10.0配套CUDA 11.1
• PyTorch 1.8.0、1.5.0、1.4.0配套CUDA 10.2

请用户自行获取相关软件包进行安装，例如可以参见如下链接获取相关toolkit包，该包中包括driver软件包。

https://developer.nvidia.com/cuda-toolkit-archive

如果使用GPU模式执行量化功能，则CUDA软件必须安装。

ONNX

1.14.0、1.9.0、1.8.0

请参见安装依赖。

• 安装依赖时，请确保服务器能够连接网络。
• 本手册以Python3.9.2为例进行介绍，相应环境变量和安装命令以实际安装Python版本为准。
• 1.8.0版本ONNX Runtime存在的已知问题请单击Link进行查看。

ONNX Runtime

1.16.0、1.8.0、1.6.0

Python

Python3.7.x（3.7.0~3.7.11）、Python3.8.x（3.8.0~3.8.11）、Python3.9.x（3.9.0~3.9.7）、Python3.10.x（3.10.0~3.10.12）

推荐使用3.10.0

Ubuntu操作系统请参见IFMR数据量化时，存在"inf或NaN值"或"xxx calculate scale failed"，量化过程报错。

EulerOS操作系统请参见量化过程中提示某层bias量化超出int32范围。

numpy

• PyTorch 2.1.0配套：>=1.21.6
• PyTorch 1.10.0、1.8.0、1.5.0、1.4.0配套：1.20.0~1.23.5

请参见安装依赖。

protobuf

• PyTorch 2.1.0配套：>=3.20.2
• PyTorch 1.10.0、1.8.0、1.5.0、1.4.0配套：3.13.0+