下载
中文
注册

推理服务部署接口

接口功能

推理服务部署,发起部署请求,异步接口,部署配置信息请参见表2

接口格式

操作类型:POST

URL:https://{ip}:{port}/v1/servers

  • 滚动更新配置max_unavailable和max_surge不能全为0,另外若配置max_unavaiable > 0, max_surge = 0,但是replicas * max_unavaiable 向下取整为0,那么此时将触发强制更新。
  • 当前滚动更新过程使用kubernetes的原生Service进行负载均衡,若用户使用http长链接发送请求,在更新过程中Service不会主动中断请求客户端与正在退出的旧推理服务实例的长链接,新的请求进入旧实例将被拒绝,导致请求失败。建议用户在遇到中断后主动重新建链或使用短链接(一次请求响应后断链)发送请求。

使用样例

请求样例:

POST https://{ip}:{port}/v1/servers

响应样例:

{
    "message": "creating the server!",
    "status": "0"
}

输出说明

表1 请求响应状态码

code

说明

200

ok:请求成功。

400

bad_request:请求失败,非法请求。

404

not_found:请求失败,找不到资源。

500

internal_server_error:请求失败,内部出现错误。