部署推理服务前准备

在使用MindIE MS服务端API或者MindIE MS客户端命令行工具创建一个新的推理服务之前,需要完成以下的集群环境配置:

脚本示例

分布式多机场景非root用户镜像启动脚本样例如下所示:
LD_LIBRARY_PATH=/usr/local/python3.10.2/lib:/usr/local/Ascend/driver/lib64/common:/usr/local/Ascend/driver/lib64/driver:
PATH=/usr/local/python3.10.2/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:
export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3,4,5,6,7                    #3-8行为运行所需环境变量
source /home/{用户名称}/Ascend/ascend-toolkit/set_env.sh
source /home/{用户名称}/Ascend/mindie/set_env.sh
source /home/{用户名称}/Ascend/nnal/atb/set_env.sh
source /home/{用户名称}/Ascend/llm_model/set_env.sh
unset http_proxy
unset https_proxy
cd /home/{用户名称}/Ascend/mindie/latest/mindie-service             #9-10行为运行启动命令
./bin/mindieservice_daemon
  • 用户需确保容器内有网络可访问程序的HTTP端口。
  • {用户名称}为《MindIE安装指南》的“容器化部署和镜像制作 > 制作MindIE镜像章节中非root用户镜像制作中的用户名称。