ATB Models服务化使用

前提条件

已在环境上安装CANN、PyTorch、Torch-NPU、ATB Models、MindIE LLM和MindIE Service，详情请参见《MindIE安装指南》。

使用实例

1. 设置环境变量。

   若安装路径为默认路径，可以运行以下命令初始化各组件环境变量。

   # 配置CANN环境，默认安装在/usr/local目录下
   source /usr/local/Ascend/ascend-toolkit/set_env.sh
   # 配置加速库环境
   source /usr/local/Ascend/nnal/atb/set_env.sh
   # 配置模型仓环境变量
   source /usr/local/Ascend/llm_model/set_env.sh
   # MindIE
   source /usr/local/Ascend/mindie/latest/mindie-llm/set_env.sh
   source /usr/local/Ascend/mindie/latest/mindie-service/set_env.sh

2. 启动服务化并发送请求。

   MindIE服务化使用方法请参考《MindIE Service开发指南》的“快速开始 > 启动服务”章节。服务化参数配置请参考《MindIE Service开发指南》的“MindIE Service组件 > MindIE Server > 配置参数说明”章节。

   服务化配置中默认使用ATB Models作为模型后端。

   vim /usr/local/Ascend/mindie/1.0.RC3/mindie-service/conf/config.json
   # ModelDeployConfig.ModelConfig.backendType字段默认值为"atb"
   "backendType": "atb"

   服务化API接口请参考《MindIE Service开发指南》的“服务化接口”章节。

   用户可使用HTTPS客户端（Linux curl命令，Postman工具等）发送HTTPS请求，此处以Linux curl命令为例进行说明。重开一个窗口，使用以下命令发送请求。

   curl -H "Accept: application/json" -H "Content-type: application/json" -X POST --cacert {MindIE Server服务端证书的验签证书/根证书路径} --cert {客户端证书文件路径} --key {客户端证书私钥路径} -d '{"inputs": "hi","stream":false}' https://{ip}:{port}/generate