安装CANN软件包

安装Toolkit

CANN开发套件包，在推理&训练&开发调试场景下安装，主要用于训练和推理业务、模型转换、算子/应用/模型的开发和编译。

安装Toolkit软件前请确保安装目录可用空间大于9G，如不满足请清理空间或更换安装目录。

1. 增加对软件包的可执行权限，校验软件包安装文件的一致性和完整性。

   chmod +x Ascend-cann-toolkit_<version>_linux-<arch>.run
   ./Ascend-cann-toolkit_<version>_linux-<arch>.run --check

   出现如下回显信息，表示软件包校验成功。

   Verifying archive integrity...  100%   SHA256 checksums are OK. All good.

2. 安装软件包。

   ./Ascend-cann-toolkit_<version>_linux-<arch>.run --install

   执行以上命令会打屏展示华为企业业务最终用户许可协议（EULA）的条款和条件，请输入Y或y同意协议，继续安装流程。

   安装完成后，若显示如下信息，则说明软件安装成功：

   xxx install success

   xxx表示安装的实际软件包名。

3. 配置环境变量，请用户根据set_env.sh的实际安装路径进行替换。

   source /usr/local/Ascend/ascend-toolkit/set_env.sh 

4. 安装后检查。执行如下命令查询CANN版本信息，查询结果与安装软件包的版本一致时，则验证安装成功。
   1. 进入软件包安装信息文件目录，请用户根据实际安装路径替换。<arch>表示CPU架构（aarch64或x86_64）。

      cd /usr/local/Ascend/ascend-toolkit/latest/<arch>-linux

   2. 执行以下命令获取版本信息。

      cat ascend_toolkit_install.info

安装NNAE

CANN深度学习引擎包，在推理&训练场景下安装，主要用于训练和推理业务。

1. 增加对软件包的可执行权限，校验软件包安装文件的一致性和完整性。

   chmod +x Ascend-cann-nnae_<version>_linux-<arch>.run
   ./Ascend-cann-nnae_<version>_linux-<arch>.run --check

   出现如下回显信息，表示软件包校验成功。

   Verifying archive integrity...  100%   SHA256 checksums are OK. All good.

2. 安装软件包。

   ./Ascend-cann-nnae_<version>_linux-<arch>.run --install

   执行以上命令会打屏展示华为企业业务最终用户许可协议（EULA）的条款和条件，请输入Y或y同意协议，继续安装流程。

   安装完成后，若显示如下信息，则说明软件安装成功：

   xxx install success

   xxx表示安装的实际软件包名。

3. 配置环境变量，请用户根据set_env.sh的实际安装路径进行替换。

   source /usr/local/Ascend/nnae/set_env.sh 

4. 安装后检查。执行如下命令查询CANN版本信息，查询结果与安装软件包的版本一致时，则验证安装成功。
   1. 进入软件包安装信息文件目录，请用户根据实际安装路径替换。

      cd /usr/local/Ascend/nnae/latest

   2. 执行以下命令获取版本信息。

      cat ascend_nnae_install.info

安装NNRT

CANN离线推理引擎包，在边缘推理场景下安装，仅支持离线推理，主要用于应用程序的模型推理。

1. 增加对软件包的可执行权限，校验软件包安装文件的一致性和完整性。

   chmod +x Ascend-cann-nnrt_<version>_linux-<arch>.run
   ./Ascend-cann-nnrt_<version>_linux-<arch>.run --check

   出现如下回显信息，表示软件包校验成功。

   Verifying archive integrity...  100%   SHA256 checksums are OK. All good.

2. 安装软件包。

   ./Ascend-cann-nnrt_<version>_linux-<arch>.run --install

   执行以上命令会打屏展示华为企业业务最终用户许可协议（EULA）的条款和条件，请输入Y或y同意协议，继续安装流程。

   安装完成后，若显示如下信息，则说明软件安装成功：

   xxx install success

   xxx表示安装的实际软件包名。

3. 配置环境变量，请用户根据set_env.sh的实际安装路径进行替换。

   source /usr/local/Ascend/nnrt/set_env.sh 

4. 安装后检查。执行如下命令查询CANN版本信息，查询结果与安装软件包的版本一致时，则验证安装成功。
   1. 进入软件包安装信息文件目录，请用户根据实际安装路径替换。<arch>表示CPU架构（aarch64或x86_64）。

      cd /usr/local/Ascend/nnrt/latest/<arch>-linux

   2. 执行以下命令获取版本信息。

      cat ascend_nnrt_install.info

安装Kernels

CANN二进制算子包能够节省算子编译时间，在如下场景中需要安装：

• 大模型推理、训练场景。
• 运行包含动态shape网络或单算子API（例如aclnn类API）相关业务场景。

加速库安装需已安装配套版本的Toolkit并配置环境变量，请使用同一用户安装。

加速库安装需已安装配套版本的NNAE并配置环境变量，请使用同一用户安装。

加速库安装需已安装配套版本的NNRT并配置环境变量，请使用同一用户安装。

1. 增加对软件包的可执行权限，校验软件包安装文件的一致性和完整性。

   chmod +x Ascend-cann-kernels-<chip_type>_<version>_linux.run
   ./Ascend-cann-kernels-<chip_type>_<version>_linux.run --check

   出现如下回显信息，表示软件包校验成功。

   Verifying archive integrity...  100%   SHA256 checksums are OK. All good.

2. 安装软件包。

   ./Ascend-cann-kernels-<chip_type>_<version>_linux.run --install

   执行以上命令会打屏展示华为企业业务最终用户许可协议（EULA）的条款和条件，请输入Y或y同意协议，继续安装流程。

   安装完成后，若显示如下信息，则说明软件安装成功：

   xxx install success

   xxx表示安装的实际软件包名。

   

   二进制算子包支持使用--feature参数，按照训练、推理等可选特性安装，具体参数说明请参见参数说明，示例命令如下：

   ./Ascend-cann-kernels-xxx_linux.run --install --feature=aclnn_ops_infer

3. 安装后检查。执行如下命令查询软件版本信息，查询结果与安装软件包的版本一致时，则验证安装成功。
   1. 进入软件包安装信息文件目录，请用户根据实际安装路径替换。

      cd <Kernels依赖的CANN软件包安装路径>/latest/opp_kernel

   2. 执行以下命令，查看version_dir字段提供的版本信息。

      cat version.info

安装NNAL

NNAL软件包中提供了面向大模型领域的ATB（Ascend Transformer Boost）加速库，实现了基于Transformer结构的神经网络推理加速引擎库，提供昇腾亲和的融合算子、通信算子、内存优化等，作为算子的公共底座提升了大模型训练和推理性能。

加速库安装需已安装同版本的Toolkit并配置环境变量，请使用同一用户安装。

加速库安装需已安装同版本的NNAE并配置环境变量，请使用同一用户安装。

1. 增加对软件包的可执行权限，校验软件包安装文件的一致性和完整性。

   chmod +x Ascend-cann-nnal_<version>_linux-<arch>.run
   ./Ascend-cann-nnal_<version>_linux-<arch>.run --check

   出现如下回显信息，表示软件包校验成功。

   Verifying archive integrity...  100%   SHA256 checksums are OK. All good.

2. 执行以下命令安装软件。

   ./Ascend-cann-nnal_<version>_linux-<arch>.run --install

   执行以上命令会打屏展示华为企业业务最终用户许可协议（EULA）的条款和条件，请输入Y或y同意协议，继续安装流程。

   安装完成后，若显示如下信息，则说明软件安装成功：

   xxx install success

   xxx表示安装的实际软件包名。

3. 配置环境变量，请用户根据set_env.sh的实际安装路径进行替换。

   source /usr/local/Ascend/nnal/atb/set_env.sh

4. 安装后检查。执行如下命令查询软件版本信息，查询结果与安装软件包的版本一致时，则验证安装成功。
   1. 进入软件包安装信息文件目录，请用户根据实际安装路径替换。<arch>表示CPU架构（aarch64或x86_64）。

      cd /usr/local/Ascend/nnal/atb/latest

   2. 执行以下命令获取版本信息。

      cat version.info