安装说明
本文主要向用户介绍基于Atlas 500 A2 智能小站,如何快速完成昇腾NPU(Neural-Network Processing Unit,神经网络处理器单元)驱动固件、CANN(Compute Architecture for Neural Networks,AI异构计算架构)软件的安装,各软件说明如表1所示。
软件类型 |
软件介绍 |
---|---|
昇腾NPU固件 |
固件包含昇腾AI处理器自带的OS 、电源器件和功耗管理器件控制软件,分别用于后续加载到AI处理器的模型计算、芯片启动控制和功耗控制。 |
昇腾NPU驱动 |
部署在昇腾服务器,管理查询昇腾AI处理器,同时为上层CANN软件提供芯片控制、资源分配等接口。 |
CANN |
部署在昇腾服务器,包含Runtime、算子库、图引擎、媒体数据处理等组件,通过AscendCL(Ascend Computing Language,昇腾计算语言)对外提供Device管理、Context管理、Stream管理、内存管理、模型加载与执行、算子加载与执行、媒体数据处理等API,帮助开发者实现在昇腾软硬件平台上开发和运行AI业务。 CANN软件按照功能主要分为Toolkit(开发套件)、NNAE(深度学习引擎)、NNRT(离线推理引擎)、TFPlugin(TensorFlow框架插件)几种软件包,各软件包支持功能范围如下:
说明:
Atlas 500 A2 智能小站不涉及NNAE和TFPlugin软件。 |
安装场景
在Atlas 500 A2 智能小站部署的CANN软件为NNRT,用于运行推理应用,且NNRT软件包较小,不需要占用太多存储空间。Atlas 500 A2 智能小站出厂时默认已部署Euler OS、NPU驱动和NPU固件,此场景下只支持通过容器运行推理应用,因此需要制作包含NNRT的容器镜像,再通过在FusionDirector上传容器镜像并部署到智能小站。
部署软件的架构如图1所示。
各安装场景硬件配套和OS范围
本文介绍的硬件配套OS范围以表2所示为例。