下载
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助
昇腾小AI

安装前准备

量化并转换MindSpore模型前,请先完成如下环境准备动作,然后安装昇腾模型压缩工具

昇腾模型压缩工具用户准备

请使用训练环境下CANN软件包的安装用户安装昇腾模型压缩工具,本章节以非root用户为例进行操作。

关于非root用户权限请参见CANN 软件安装指南手册>安装开发环境>准备安装及运行用户章节。

环境准备

昇腾模型压缩工具需要在带NPU设备的训练环境下安装,硬件配套关系如下:

表1 配套版本信息

类别

版本限制

获取方式

注意事项

带NPU设备的训练环境所需操作系统

请参见支持的OS清单

参见CANN 软件安装指南手册搭建对应产品环境。

仅支持基于NPU的量化。

MindSpore

1.6.1

https://www.mindspore.cn/install

安装完后,需要配置环境变量,并建议进行安装验证。

Python

Python3.7.x(3.7.5~3.7.11)、Python3.8.x(3.8.0~3.8.11)、Python3.9.x(3.9.0~3.9.2)

推荐使用Python3.9.2

昇腾模型压缩工具以及训练环境搭建都需要安装该依赖,具体安装方法请参见CANN 软件安装指南>安装开发环境>安装依赖章节。

若需要搭建Python3.9.2环境,则:

安装依赖时,请确保服务器能够连接网络。

说明:

本手册以Python3.9.2为例进行介绍,相应环境变量和安装命令以实际安装Python版本为准。

numpy

1.16.0+

请参见安装依赖

-

protobuf

3.13.0+

-

安装依赖

请参见CANN 软件安装指南>安装开发环境>安装OS依赖章节。安装完成后,还需要执行如下命令安装相关依赖。

执行pip3 list命令检查wget、numpy、protobuf 软件是否安装,若提示相应版本信息,则说明已经安装,否则请执行如下安装命令。

表2 依赖列表

依赖名称

版本号

安装命令

numpy

1.16.0+

pip3 install numpy==1.16.0 --user

protobuf

3.13.0+

pip3 install protobuf==3.13.0 --user

wget

3.2

pip3 install wget==3.2 --user

上传软件包

昇腾模型压缩工具的安装用户将Ascend-cann-amct_{software version}_linux-{arch}.tar.gz软件包上传到Linux服务器任意目录下,本示例为上传到$HOME/amct/目录。

执行如下命令解压昇腾模型压缩工具软件包:

tar -zxvf Ascend-cann-amct-{software version}_linux-{arch}.tar.gz

获得如下内容:

表3 昇腾模型压缩工具软件包解压后内容

一级目录

二级目录

说明

使用场景及注意事项

amct_caffe/

Caffe框架昇腾模型压缩工具目录。

  • 使用方法请参见AMCT工具(Caffe)
  • 量化完的模型,如果要执行推理,则需要借助安装昇腾AI处理器的推理环境。

amct_caffe-{version}-py3-none-linux_{arch}.whl

Caffe框架昇腾模型压缩工具安装包。

caffe_patch.tar.gz

Caffe源代码增强包。

amct_tf/

TensorFlow框架昇腾模型压缩工具目录。

amct_tensorflow-{version}-py3-none-linux_{arch}.tar.gz

TensorFlow框架昇腾模型压缩工具安装包,通过源码编译方式进行安装。

  • amct_tensorflow与amct_tensorflow_ascend软件包不能同时安装
  • 使用方法请参见AMCT工具(TensorFlow)
  • 量化完的模型,如果要执行推理,则需要借助安装昇腾AI处理器的推理环境。

amct_tensorflow_ascend-{version}-py3-none-linux_{arch}.tar.gz

基于TF_Adapter的昇腾模型压缩工具安装包,通过源码编译方式进行安装。

  • amct_tensorflow与amct_tensorflow_ascend软件包不能同时安装。
  • Atlas 200/300/500 推理产品:该版本不支持amct_tensorflow_ascend目录下的相关特性。
  • Atlas 推理系列产品:该版本不支持amct_tensorflow_ascend目录下的相关特性。
  • 使用方法请参见AMCT工具(TensorFlow,Ascend)
  • 量化完的模型,可以基于昇腾AI处理器完成在线推理业务,因此需要搭建在线推理环境。

amct_pytorch/

PyTorch框架昇腾模型压缩工具目录。

  • 使用方法请参见AMCT工具(PyTorch)
  • 量化完的模型,如果要执行推理,则需要借助安装昇腾AI处理器的推理环境。

amct_pytorch-{version}-py3-none-linux_{arch}.tar.gz

PyTorch框架昇腾模型压缩工具源码安装包。

amct_onnx/

ONNX模型昇腾模型压缩工具目录。

  • 使用方法请参见AMCT工具(ONNX)
  • 量化完的模型,如果要执行推理,则需要借助安装昇腾AI处理器的推理环境。

amct_onnx-{version}-py3-none-linux_{arch}.whl

ONNX模型昇腾模型压缩工具安装包。

amct_onnx_op.tar.gz

昇腾模型压缩工具基于ONNX Runtime的自定义算子包。

amct_ms/

MindSpore框架昇腾模型压缩工具目录。

  • Atlas 200/300/500 推理产品:该版本不支持amct_ms目录下的相关特性。
  • Atlas 推理系列产品:该版本不支持amct_ms目录下的相关特性。
  • 使用方法请参见AMCT工具(MindSpore)
  • 将MindSpore模型量化后输出为*.air格式模型,只能借助带NPU设备的训练环境,量化后的模型要进行推理,也可以借助该环境完成。

amct_mindspore-{version}-py3-none-linux_{arch}.whl

MindSpore框架昇腾模型压缩工具安装包。

amct_acl/

基于AscendCL接口的昇腾模型压缩工具目录。

Ascend-amct_acl-{software version}-linux.{arch}.run

基于AscendCL接口的昇腾模型压缩工具安装包。

third_party/

Ascend-nca-{software version}-linux.{arch}.run

NCA(Neural Compute Agent)软件包。

基于性能的自动量化场景下使用。当前版本暂不支持该功能。

其中:{version}表示昇腾模型压缩工具具体版本号,{software version}为软件版本号,{arch}表示具体操作系统架构。

搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词