下载
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助
昇腾小AI

安装前准备

用户准备

支持任意用户(root或者非root)安装AMCT,本章节以非root用户为例进行操作。

  • 若使用root用户安装,则不需要操作该章节,不需要对root用户做任何设置。
  • 若使用已存在的非root用户安装,须保证该用户对$HOME目录具有读写以及可执行权限。
  • 若使用新的非root用户安装,请参考如下步骤进行创建,如下操作请在root用户下执行。本手册以该种场景为例执行AMCT的安装。
    1. 执行以下命令创建AMCT安装用户并设置该用户的$HOME目录。
      useradd -d /home/username -m username
    2. 执行以下命令设置密码。
      passwd username
      username为安装AMCT的用户名,该用户的umask值不能小于0027:
      • 若要查看umask的值,则执行命令:umask
      • 若要修改umask的值,则执行命令:umask 新的取值

系统要求和环境检查

本章节以Ubuntu 20.04为例,详述安装前准备,版本配套信息如下:

表1 配套版本信息

类别

版本限制

获取方式

注意事项

操作系统及版本

EulerOS release 2.0 (SP10) aarch64

cat /etc/*release && uname -m

仅支持基于CPU量化。

操作系统及版本

Ubuntu 20.04 x86_64

请从Ubuntu官网下载对应版本软件进行安装,安装完成后查询命令为:

cat /etc/*release && uname -m

支持基于CPU,GPU的量化。

操作系统及版本

Ubuntu 20.04 aarch64

请从Ubuntu官网下载对应版本软件进行安装,安装完成后查询命令为:

cat /etc/*release && uname -m

支持基于CPU,GPU的量化。

ONNX和Opset

1.14.0、1.10.0、1.9.0、1.8.0

推荐使用1.14.0

  • ONNX 1.14.0配套Opset v16,ONNX Runtime 1.16.0,Python3.10.0
  • ONNX 1.10.0配套Opset v8~v14,ONNX Runtime 1.9.0,Python3.9.2
  • ONNX 1.9.0配套Opset v8~v14,ONNX Runtime 1.8.0,Python3.9.2
  • ONNX 1.8.0配套Opset v8~v13,ONNX Runtime 1.6.0,Python3.7.5

请参见安装依赖

  • 仅支持ai.onnx算子域中Opset v8~v14版本的算子。
  • 1.8.0版本ONNX Runtime存在的已知问题:当部署在具有性能和高效内核(P核和E核)混合架构功能的英特尔第12代处理器上时,可能会导致分段错误。详情及其他已知问题请单击Link进行查看。
  • ONNX Runtime 1.6.0仅支持输入为FP32的数据进行量化。

ONNX Runtime

1.16.0、1.9.0、1.8.0、1.6.0

ONNX执行框架,请参见安装依赖

CUDA、cuDNN

  • ONNX Runtime 1.16.0配套:

    CUDA 11.8,cuDNN 8.2.4~8.9.0

  • ONNX Runtime 1.9.0配套:

    CUDA 11.4,cuDNN 8.2.4

  • ONNX Runtime 1.8.0配套:

    CUDA 11.0,cuDNN 8.0.5

请用户自行获取相关软件包进行安装。

CUDA获取路径:https://developer.nvidia.com/cuda-toolkit-archive

cuDNN获取路径:https://developer.nvidia.com/zh-cn/cudnn

果使用ONNX Runtime GPU模式执行量化功能,则CUDA、cuDNN软件必须安装

Python

Python3.7.x(3.7.0~3.7.11)、Python3.8.x(3.8.0~3.8.11)、Python3.9.x(3.9.0~3.9.7)、Python3.10.x(3.10.0~3.10.12)

推荐使用Python 3.10.0

Ubuntu操作系统请参见安装Python3.9.2(Ubuntu)

EulerOS操作系统请参见安装Python3.9.2(EulerOS )

  • 安装依赖时,请确保服务器能够连接网络。
  • 本手册以Python3.9.2为例进行介绍,相应环境变量和安装命令以实际安装Python版本为准。

numpy

  • ONNX 1.14.0配套:1.21.6~1.26.4
  • ONNX 1.10.0、1.9.0、1.8.0配套:1.20.0~1.23.5

请参见安装依赖

protobuf

  • ONNX 1.14.0配套:3.20.2~3.20.3
  • ONNX 1.10.0、1.9.0、1.8.0配套:3.13.0+

安装依赖

请使用AMCT的安装用户安装依赖的软件,如果安装用户为非root,请确保该用户拥有sudo权限,请使用su - username命令切换到非root用户执行如下命令。

表2 依赖列表

依赖名称

版本号

安装命令

ONNX

1.14.0、1.10.0、1.9.0、1.8.0

  • ONNX 1.14.0版本
    pip3 install onnx==1.14.0 --user
  • ONNX 1.10.0版本
    pip3 install onnx==1.10.0 --user
  • ONNX 1.9.0版本
    pip3 install onnx==1.9.0 --user
  • ONNX 1.8.0版本
    pip3 install onnx==1.8.0 --user

ONNX Runtime

1.16.0、1.9.0、1.8.0、1.6.0

ONNX Runtime CPU安装命令请参见下面指导;1.9.0版本以下ONNX Runtime GPU版本需要用户自行安装

  • ONNX Runtime 1.16.0版本
    • 安装ONNX Runtime CPU版本
      pip3 install onnxruntime==1.16.0 --user
    • 安装ONNX Runtime GPU版本,安装GPU版本之前请先安装CUDA11.8、cuDNN 8.2.4~8.9.0。EulerOS aarch64操作系统不支持基于GPU的量化。
      pip3 install onnxruntime-gpu==1.16.0 --user 
  • ONNX Runtime 1.9.0版本
    pip3 install onnxruntime==1.9.0 --user

    安装ONNX Runtime GPU之前请先安装CUDA11.4、cuDNN 8.2.4。

  • ONNX Runtime 1.8.0版本
    pip3 install onnxruntime==1.8.0 --user

    安装ONNX Runtime GPU之前请先安装CUDA11.0、cuDNN 8.0.5。

  • ONNX Runtime 1.6.0版本
    pip3 install onnxruntime==1.6.0 --user

    安装ONNX Runtime GPU之前请先安装CUDA10.2、cuDNN 8.0.3。

Python

以3.9.2版本为例

Ubuntu操作系统请参见安装Python3.9.2(Ubuntu)

numpy

  • ONNX 1.14.0配套:1.21.6~1.26.4
  • ONNX 1.10.0、1.9.0、1.8.0配套:1.20.0~1.23.5
  • ONNX 1.14.0版本
    pip3 install numpy==1.21.6 --user
  • ONNX 1.10.0、1.9.0、1.8.0版本
    pip3 install numpy==1.20.0 --user

protobuf

  • ONNX 1.14.0配套:3.20.2~3.20.3
  • ONNX 1.10.0、1.9.0、1.8.0配套:3.13.0+
  • ONNX 1.14.0版本
    pip3 install protobuf==3.20.2 --user
  • ONNX 1.10.0、1.9.0、1.8.0版本
    pip3 install protobuf==3.13.0 --user

上传软件包

AMCT的安装用户将Ascend-cann-amct_{software version}_linux-{arch}.tar.gz软件包上传到Linux服务器任意目录下,本示例为上传到$HOME/amct/目录。

执行如下命令解压AMCT软件包:

tar -zxvf Ascend-cann-amct-{software version}_linux-{arch}.tar.gz

获得如下内容:

表3 AMCT软件包解压后内容

一级目录

二级目录

说明

使用场景及注意事项

amct_caffe/

Caffe框架AMCT目录。

  • Atlas A2训练系列产品/Atlas 800I A2推理产品不支持Caffe框架。
  • 使用方法请参见AMCT工具(Caffe)
  • 需要搭建Caffe环境,量化完的模型,如果要执行推理,则需要借助安装昇腾AI处理器的推理环境。

amct_caffe-{version}-py3-none-linux_{arch}.whl

Caffe框架AMCT安装包。

caffe_patch.tar.gz

Caffe源代码增强包。

amct_tf/

TensorFlow框架AMCT目录。

amct_tensorflow-{version}-py3-none-linux_{arch}.tar.gz

TensorFlow框架AMCT安装包,通过源码编译方式进行安装。

  • amct_tensorflow与amct_tensorflow_ascend软件包不能同时安装
  • 使用方法请参见AMCT工具(TensorFlow)
  • 需要搭建TensorFlow环境,量化完的模型,如果要执行推理,则需要借助安装昇腾AI处理器的推理环境。

amct_tensorflow_ascend-{version}-py3-none-linux_{arch}.tar.gz

基于TF_Adapter的AMCT安装包,通过源码编译方式进行安装。

  • amct_tensorflow与amct_tensorflow_ascend软件包不能同时安装。
  • Atlas 200/300/500 推理产品:不支持amct_tensorflow_ascend目录下的相关特性。
  • Atlas 200I/500 A2推理产品:不支持amct_tensorflow_ascend目录下的相关特性。
  • Atlas 推理系列产品:不支持amct_tensorflow_ascend目录下的相关特性。
  • 使用方法请参见AMCT工具(TensorFlow,Ascend)
  • 需要搭建TensorFlow环境,并借助带有NPU设备的在线推理环境,量化完的模型,可以基于昇腾AI处理器完成在线推理业务。

amct_pytorch/

PyTorch框架AMCT目录。

  • 使用方法请参见AMCT工具(PyTorch)
  • 需要搭建PyTorch环境,量化完的模型,如果要执行推理,则需要借助安装昇腾AI处理器的推理环境。

amct_pytorch-{version}-py3-none-linux_{arch}.tar.gz

PyTorch框架AMCT源码安装包。

amct_onnx/

ONNX模型AMCT目录。

amct_onnx-{version}-py3-none-linux_{arch}.whl

ONNX模型AMCT安装包。

amct_onnx_op.tar.gz

AMCT基于ONNX Runtime的自定义算子包。

amct_ms/

MindSpore框架AMCT目录。

  • Atlas 200/300/500 推理产品:不支持amct_ms目录下的相关特性。
  • Atlas 200I/500 A2推理产品:不支持amct_ms目录下的相关特性。
  • Atlas 推理系列产品:不支持amct_ms目录下的相关特性。
  • 使用方法请参见AMCT工具(MindSpore)
  • 需要搭建MindSpore环境,并借助带NPU设备的训练环境将MindSpore模型量化后输出为*.air格式模型,只能借助带NPU设备的训练环境,量化后的模型要进行推理,也可以借助该环境完成。

amct_mindspore-{version}-py3-none-linux_{arch}.whl

MindSpore框架AMCT安装包。

conf/

-

-

记录包的安装信息,用户无需关注。

latest_manager/

-

-

安装升级使用的公共脚本,用户无需关注。

其中:{version}表示AMCT具体版本号,{software version}为软件版本号,{arch}表示具体操作系统架构。

搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词