在使用MindIE MS服务端API或者MindIE MS客户端命令行工具创建一个新的推理服务之前,需要完成以下的集群环境配置:
如果用户已在其他路径(如:/data)存放模型文件数据,可通过mount --bind /data/ /mnt/mindie-service/ms/model命令创建一个挂载点。重启服务器后会失效,需要重新创建挂载点。该目录权限需要设置为750,目录内文件权限设置为640,属主设置为MindIE镜像容器内用户群组。
docker tag mindie:{TAG} mindie:server
LD_LIBRARY_PATH=/usr/local/python3.10.2/lib:/usr/local/Ascend/driver/lib64/common:/usr/local/Ascend/driver/lib64/driver: PATH=/usr/local/python3.10.2/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin: export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 #3-7行为运行所需环境变量 source /home/{用户名称}/Ascend/ascend-toolkit/set_env.sh source /home/{用户名称}/Ascend/mindie/set_env.sh source /home/{用户名称}/Ascend/nnal/atb/set_env.sh source /home/{用户名称}/Ascend/llm_model/set_env.sh cd /home/{用户名称}/Ascend/mindie/latest/mindie-service #8-9行为运行启动命令/ ./bin/mindieservice_daemon