推理服务部署接口
接口功能
推理服务部署,发起部署请求,异步接口,部署配置信息请参见表2。
接口格式
操作类型:POST
URL:https://{ip}:{port}/v1/servers
- 滚动更新配置max_unavailable和max_surge不能全为0,另外若配置max_unavaiable > 0, max_surge = 0,但是replicas * max_unavaiable 向下取整为0,那么此时将触发强制更新。
- 当前滚动更新过程使用kubernetes的原生Service进行负载均衡,若用户使用http长链接发送请求,在更新过程中Service不会主动中断请求客户端与正在退出的旧推理服务实例的长链接,新的请求进入旧实例将被拒绝,导致请求失败。建议用户在遇到中断后主动重新建链或使用短链接(一次请求响应后断链)发送请求。
使用样例
请求样例:
POST https://{ip}:{port}/v1/servers
响应样例:
{ "message": "creating the server!", "status": "0" }
输出说明
code |
说明 |
---|---|
200 |
ok:请求成功。 |
400 |
bad_request:请求失败,非法请求。 |
404 |
not_found:请求失败,找不到资源。 |
500 |
internal_server_error:请求失败,内部出现错误。 |
父主题: RESTful接口API