快速上线
本章节主要向用户介绍基于Atlas 800 推理服务器(型号:3000)配置Atlas 300I Pro 推理卡,快速完成昇腾NPU(Neural-Network Processing Unit,神经网络处理器单元)驱动固件、CANN(Compute Architecture for Neural Networks,AI异构计算架构)软件的安装,实现推理业务的上线。
准备安装环境
下载软件
上传安装包并添加权限
- 将MCU的zip包解压至本地文件夹,获取Ascend-hdk-310p-mcu_23.2.4.hpm安装包。
- 再将下载的run包和解压获取的hpm包上传至服务器任意目录(以“/home”为例)。
- 给安装包添加权限。
cd /home chmod +x Ascend-hdk-310p-npu-driver_24.1.rc1_linux-aarch64.run chmod +x Ascend-hdk-310p-npu-firmware_7.1.0.6.220.run chmod +x Ascend-cann-toolkit_8.0.RC1_linux-aarch64.run chmod +x Ascend-cann-kernels-310p_8.0.RC1_linux.run
安装NPU驱动固件
执行uname -r命令查看操作系统内核版本:
- 如果内核版本在“二进制安装”安装方式对应的版本范围内,则可以直接安装NPU驱动固件。
- 如果内核版本为“源码编译安装”安装方式对应的版本则需要先参见安装驱动源码编译所需依赖安装驱动源码编译所需的依赖,再安装NPU驱动固件。
host操作系统版本 |
软件包默认的host操作系统内核版本 |
安装方式 |
---|---|---|
CentOS 7.6 |
4.14.0-115.el7a.0.1.aarch64 |
二进制安装 |
Ubuntu 18.04.1 |
4.15.0-29-generic |
|
Ubuntu 20.04 |
5.4.0-26-generic |
|
Ubuntu 18.04.5 |
4.15.0-112-generic |
源码编译安装 |
openEuler 20.03 LTS |
4.19.90-2003.4.0.0036.oe1.aarch64 |
|
openEuler 22.03 LTS |
5.10.0-60.18.0.50.oe2203.aarch64 |
|
Kylin V10 SP1 |
4.19.90-17.ky10.aarch64 |
|
Kylin V10 SP2 |
4.19.90-24.4.v2101.ky10.aarch64 |
|
CUlinux 3.0 |
5.10.0-60.67.0.104.ule3.aarch64 |
# 若操作系统为Ubuntu,安装驱动前还需安装如下依赖 apt-get install -y net-tools pciutils # 安装NPU驱动 ./Ascend-hdk-310p-npu-driver_24.1.rc1_linux-aarch64.run --full --install-for-all # 查看驱动加载是否成功,回显芯片信息表示加载成功 npu-smi info # 安装NPU固件 ./Ascend-hdk-310p-npu-firmware_7.1.0.6.220.run --full # 重启OS reboot
升级MCU
# 查询NPU ID (卡的设备编号) npu-smi info -l # 升级MCU npu-smi upgrade -t mcu -i NPU ID -f Ascend-hdk-310p-mcu_23.2.4.hpm # 使新版本生效 npu-smi upgrade -a mcu -i NPU ID # 在生效新版本之后,等待30s,查询MCU版本号,确保升级成功 npu-smi upgrade -b mcu -i NPU ID
物理机安装
- 安装依赖。安装依赖以Ubuntu 20.04为例,其他操作系统安装依赖方法请参见安装依赖。
# 安装OS依赖 apt-get install -y gcc g++ make cmake zlib1g zlib1g-dev openssl libsqlite3-dev libssl-dev libffi-dev unzip pciutils net-tools libblas-dev gfortran libblas3 libopenblas-dev # 安装Python3依赖 apt-get install -y python3-pip pip3 install --upgrade pip pip3 install attrs cython numpy decorator sympy cffi pyyaml pathlib2 psutil protobuf scipy requests absl-py
- 安装CANN。
# 在/home目录下执行如下命令安装Toolkit ./Ascend-cann-toolkit_8.0.RC1_linux-aarch64.run --install --install-for-all --quiet # 执行如下命令配置环境变量。若需要设置环境变量永久生效,可在~/.bashrc文件最后一行后面添加以下命令,执行source ~/.bashrc命令 source /usr/local/Ascend/ascend-toolkit/set_env.sh # 二进制算子包依赖CANN软件包Toolkit,执行安装时,当前环境需已安装配套版本的Toolkit,并使用同一用户安装 ./Ascend-cann-kernels-310p_8.0.RC1_linux.run --install --install-for-all --quiet
- (可选)运行样例。
软件安装完成后,可以运行样例验证环境是否可用。
获取模型文件和权重文件:
# 在服务器任意目录下获取sample仓代码(以/home目录为例) apt-get install git git config --global http.sslVerify "false" git clone https://gitee.com/ascend/samples.git # 进入“样例目录”,下文中的“样例目录”均指“samples/cplusplus/level2_simple_inference/1_classification/resnet50_imagenet_classification”目录 cd samples/cplusplus/level2_simple_inference/1_classification/resnet50_imagenet_classification # 获取ResNet-50原始模型 pip3 install Pillow mkdir -p caffe_model # 将获取的模型文件和权重文件上传至创建的“caffe_model”目录 # 在“样例目录”下执行如下命令,将ResNet-50原始模型转换为适配昇腾AI处理器的离线模型(*.om文件) atc --model=caffe_model/resnet50.prototxt --weight=caffe_model/resnet50.caffemodel --framework=0 --output=model/resnet50 --soc_version=Ascend310P3 --input_format=NCHW --input_fp16_nodes=data --output_type=FP32 --out_nodes=prob:0 # 在“样例目录/data”目录下准备样例图片,如果data目录不存在,可在“样例目录”下执行mkdir -p data命令创建。 cd data wget https://obs-9be7.obs.cn-east-2.myhuaweicloud.com/models/aclsample/dog1_1024_683.jpg --no-check-certificate wget https://obs-9be7.obs.cn-east-2.myhuaweicloud.com/models/aclsample/dog2_1024_683.jpg --no-check-certificate python3 ../script/transferPic.py # 编译运行 # 在“样例目录”下执行如下命令配置环境变量 export DDK_PATH=/usr/local/Ascend/ascend-toolkit/latest export NPU_HOST_LIB=$DDK_PATH/runtime/lib64/stub # 在“样例目录”下执行如下命令编译可执行文件。 mkdir -p build/intermediates/host cd build/intermediates/host cmake ../../../src -DCMAKE_CXX_COMPILER=g++ -DCMAKE_SKIP_RPATH=TRUE make # 在“样例目录/out”目录下,执行如下命令运行编译的文件 ./main
容器安装
- 从AscendHub拉取容器镜像,请确保安装环境能够连接网络。
- 请确保宿主机已安装Docker(可执行docker version查询)。若未安装,请参见部署Docker安装。