部署推理服务前准备

在使用MindIE MS服务端API或者MindIE MS客户端命令行工具创建一个新的推理服务之前,需要完成以下的集群环境配置:

脚本示例

单机场景非root用户镜像启动脚本样例如下所示:
LD_LIBRARY_PATH=/usr/local/python3.10.2/lib:/usr/local/Ascend/driver/lib64/common:/usr/local/Ascend/driver/lib64/driver:
PATH=/usr/local/python3.10.2/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:
export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3,4,5,6,7                    #3-7行为运行所需环境变量
source /home/{用户名称}/Ascend/ascend-toolkit/set_env.sh
source /home/{用户名称}/Ascend/mindie/set_env.sh
source /home/{用户名称}/Ascend/nnal/atb/set_env.sh
source /home/{用户名称}/Ascend/llm_model/set_env.sh
cd /home/{用户名称}/Ascend/mindie/latest/mindie-service             #8-9行为运行启动命令/
./bin/mindieservice_daemon
  • {用户名称}《MindIE安装指南》的“容器化部署和镜像制作 > 制作MindIE镜像章节中非root用户镜像制作中的用户名称。
  • 受限于kubernetes的能力,默认情况下configmap挂载到容器内文件的属主为root:root,且不可修改用户,只能设置群组。MindIE MS通过添加配置fsGroup 1001将挂载到容器内的confimap文件设置为1001群组,支持容器内非root用户读取。