安装说明

本文主要向用户介绍基于昇腾训练设备，如何快速完成昇腾NPU（Neural-Network Processing Unit，神经网络处理器单元）驱动固件、CANN（Compute Architecture for Neural Networks，AI异构计算架构）软件的安装，各软件说明如表1所示。

表1 昇腾软件介绍
软件类型	软件介绍
昇腾NPU固件	固件包含昇腾AI处理器自带的OS 、电源器件和功耗管理器件控制软件，分别用于后续加载到AI处理器的模型计算、处理器启动控制和功耗控制。
昇腾NPU驱动	部署在昇腾AI处理器，用于管理查询昇腾AI处理器，同时为上层CANN软件提供处理器控制、资源分配等接口。
CANN	部署在昇腾服务器，包含Runtime、算子库、图引擎、媒体数据处理等组件，通过AscendCL（Ascend Computing Language，昇腾计算语言）对外提供Device管理、Context管理、Stream管理、内存管理、模型加载与执行、算子加载与执行、媒体数据处理等API，帮助开发者实现在昇腾软硬件平台上开发和运行AI业务。 CANN软件按照功能主要分为Toolkit（开发套件）、Kernels（算子包）、NNAE（深度学习引擎）、NNRT（离线推理引擎）、NNAL（加速库）几种软件包，各软件包支持功能范围如下： Toolkit：CANN开发套件包，在训练&推理&开发调试场景下安装，主要用于训练和推理业务、模型转换、算子/应用/模型的开发和编译。 NNAE：CANN深度学习引擎包，在训练&推理场景下安装，主要用于训练和推理业务。 NNRT：CANN离线推理引擎包，在边缘推理场景下安装，仅支持离线推理，主要用于应用程序的模型推理。 Kernels：CANN二进制算子包，包含静态库和aclnn等动态库，在大模型推理、训练场景下使用，能够节省算子编译时间。需注意，aclnn动态库场景下，必须安装Kernels。动态shape场景下建议安装，安装后能提升编译性能。安装时需已安装Toolkit或NNAE或NNRT软件包，请选择运行设备对应产品类型和架构的Kernels软件包。 NNAL：CANN加速库，包含面向大模型领域的ATB（Ascend Transformer Boost）加速库，可以提升大模型训练和推理性能。安装时需已安装Toolkit或NNAE软件包。详情介绍请参见《CANN 软件安装指南》。

安装场景

用户需完成硬件、OS、昇腾NPU驱动固件以及CANN软件的安装，CANN软件使用Toolkit（开发套件），深度学习框架使用PyTorch框架。

图1 训练安装场景

图2 推理安装场景

硬件配套

昇腾训练设备包含以下型号，都可作为PyTorch模型的训练环境，如表2所示。

表2 训练硬件配套
产品系列	产品型号
Atlas 训练系列产品	Atlas 800 训练服务器（型号：9000） Atlas 800 训练服务器（型号：9010） Atlas 900 PoD（型号：9000） Atlas 900T PoD Lite Atlas 300T 训练卡（型号：9000） Atlas 300T Pro 训练卡（型号：9000）
Atlas A2 训练系列产品	Atlas 800T A2 训练服务器 Atlas 900 A2 PoD 集群基础单元 Atlas 200T A2 Box16 异构子框
Atlas A3 训练系列产品	Atlas 9000 A3 SuperPoD 集群算力系统 Atlas 900 A3 SuperPoD 集群基础单元

昇腾推理设备包含以下型号，都可作为大模型的推理环境，如表3所示。

表3 推理硬件配套
产品系列	产品型号
Atlas 800I A2 推理产品	Atlas 800I A2 推理服务器