安装说明
本文主要向用户介绍基于Atlas 500 A2 智能小站,如何快速完成昇腾NPU(Neural-Network Processing Unit,神经网络处理器单元)驱动固件、CANN(Compute Architecture for Neural Networks,AI异构计算架构)软件的安装,各软件说明如表1所示。
软件类型 |
软件介绍 |
---|---|
昇腾NPU固件 |
固件包含昇腾AI处理器自带的OS 、电源器件和功耗管理器件控制软件,分别用于后续加载到AI处理器的模型计算、芯片启动控制和功耗控制。 |
昇腾NPU驱动 |
部署在昇腾服务器,管理查询昇腾AI处理器,同时为上层CANN软件提供芯片控制、资源分配等接口。 |
CANN |
部署在昇腾服务器,包含Runtime、算子库、图引擎、媒体数据处理等组件,通过AscendCL(Ascend Computing Language,昇腾计算语言)对外提供Device管理、Context管理、Stream管理、内存管理、模型加载与执行、算子加载与执行、媒体数据处理等API,帮助开发者实现在昇腾软硬件平台上开发和运行AI业务。
CANN软件按照功能主要分为Toolkit(开发套件)、NNAE(深度学习引擎)、NNRT(离线推理引擎)、TFPlugin(TensorFlow框架插件)几种软件包,各软件包支持功能范围如下:
说明:
Atlas 500 A2 智能小站不涉及NNAE和TFPlugin软件。 |
安装场景
在Atlas 500 A2 智能小站部署的CANN软件为NNRT,用于运行推理应用,且NNRT软件包较小,不需要占用太多存储空间。Atlas 500 A2 智能小站部署包含预置系统和定制系统两种场景。
- 预置系统场景:Atlas 500 A2 智能小站出厂时默认已部署Euler OS、NPU驱动和NPU固件,此场景下只支持通过容器运行推理应用,因此需要制作包含NNRT的容器镜像,再通过在FusionDirector上传容器镜像并部署到智能小站。
- 定制系统场景:如果用户需要使用自己镜像,Atlas 500 A2 智能小站支持挂载M.2外接存储,用户可以在外接存储中安装Ubuntu或OpenEuler OS,一般情况下用户可以直接在制作镜像时会合入NPU驱动固件、NNRT软件,如果制作镜像时未合入,则需要在安装NPU驱动固件后,再按照以下步骤安装NNRT。
- 如果是物理机运行推理应用,则直接在物理机安装NNRT。
- 如果是容器中运行推理应用,需要用户安装Docker,制作包含NNRT的容器镜像,再通过在FusionDirector上传容器镜像并部署到智能小站。
若在M.2外接存储制作文件系统时选装了MEF功能,则不支持使用docker后台管理容器。
在物理机和容器部署软件的架构如图1所示。
预置系统和定制系统两种场景安装昇腾软件的流程有较大区别,可以参见安装流程了解。
各安装场景硬件配套和OS范围
本文介绍的各安装场景硬件配套和OS范围以表2所示为例。