MindIE-Server可以部署为兼容Triton/OpenAI/TGI/vLLM等第三方框架接口的服务应用。推荐用户开启HTTPS通信,并按照《MindIE安装指南》中的 章节配置开启https通信所需服务证书、私钥等设置。服务器默认启动在https://127.0.0.1:1025,用户可通过在config.json文件下修改ipAddress和port参数来自定义启动IP地址与端口号。目前MindIE-Server可实现服务状态查询,模型信息查询,文本/流式推理等功能。
./bin/mindieservice_daemon
回显如下则说明启动成功。
Daemon start success!
重开一个窗口,使用以下命令发送请求。例如列出当前模型列表:
curl -H "Accept: application/json" -H "Content-type: application/json" --cacert ca.pem --cert client.pem --key client.key.pem -X GET https://127.0.0.1:1025/v1/models
请用户根据实际情况对相应参数进行修改。