启动服务

MindIE-Server可以部署为兼容Triton/OpenAI/TGI/vLLM等第三方框架接口的服务应用。推荐用户开启HTTPS通信,并按照MindIE安装指南中的物理机部署MindIE > 配置MindIE Server章节配置开启https通信所需服务证书、私钥等设置。服务器默认启动在https://127.0.0.1:1025,用户可通过在config.json文件下修改ipAddress和port参数来自定义启动IP地址与端口号。目前MindIE-Server可实现服务状态查询,模型信息查询,文本/流式推理等功能。

  1. 使用以下命令启动服务,以当前所在Ascend-mindie-service_{version}_linux-{arch}目录为例。

    ./bin/mindieservice_daemon

    回显如下则说明启动成功。

    Daemon start success!

  2. 用户可使用HTTP客户端(Linux curl命令,Postman工具等)发送HTTP请求,此处以Linux curl命令为例进行说明。

    重开一个窗口,使用以下命令发送请求。例如列出当前模型列表:

    curl -H "Accept: application/json" -H "Content-type: application/json" --cacert ca.pem --cert client.pem  --key client.key.pem -X GET https://127.0.0.1:1025/v1/models
    • --cacert:验签证书文件路径。
    • ca.pem为MindIE-Server服务端证书的验签证书/根证书。
    • --cert: 客户端证书文件路径。
    • client.pem为客户端证书。
    • --key:客户端私钥文件路径。
    • client.key.pem为客户端证书私钥(未加密,建议采用加密密钥)。

    请用户根据实际情况对相应参数进行修改。