下载
中文
注册

指定实例身份接口

接口功能

指定实例身份。

接口格式

操作类型:POST

URL:https://{ip}:{port}/v1/role/{role}

  • {ip}字段优先读取环境变量值MIES_CONTAINER_MANAGEMENT_IP;如果没有该环境变量,则取配置文件的“managementIpAddress”参数;如果配置文件中没有“managementIpAddress”参数,则取配置文件的“ipAddress”参数。
  • {port}字段优先读取配置文件的“managementPort”参数;如果配置文件中没有“managementPort”参数,则取配置文件的“port”参数。

请求参数

表1 URL字段说明

参数

是否必选

类型

描述

role

必选

字符串

指定实例的身份。可选值:

  • prefill

  • decode

表2 Body字段说明

参数

是否必选

类型

描述

local

必选

结构体

表示本实例自己的信息。

local.server_ip

必选

字符串

本节点的IP地址。

local.device

必选

结构体数组

本节点NPU卡相关信息,可能存在多卡。

local.device_id

必选

整型字符串

NPU卡ID。

local.device_ip

必选

字符串

NPU卡IP地址。

peers

可选

结构体数组

表示需要建连的对象列表。每个实例只看到与自己有关的实例。

当目标是D时,对应的是其需要连接的P。

当目标是P时,对应的是会跟其连接的D。

peers.server_ip

可选

字符串

对端节点的IP地址。

peers.device

可选

结构体数组

对端节点NPU卡相关信息,可能存在多卡。卡数量必需与本节点的卡数量相同。

peers.device_id

可选

整型字符串

NPU卡ID。

peers.device_ip

可选

字符串

NPU卡IP地址。

使用样例

请求样例:

POST https://{ip}:{port}/v1/role/prefill

请求消息体:

{
  "local": {
    "server_ip": "1.2.3.4",
    "device": [{
        "device_id": "0",
        "device_ip": "xxx.xxx.xxx.xxx"
      },
      {
        "device_id": "1",
        "device_ip": "xxx.xxx.xxx.xxx"
      }
    ]
  },
  "peers": [{
    "server_ip": "5.6.7.8",
    "device": [{
        "device_id": "0",
        "device_ip": "xxx.xxx.xxx.xxx"
      },
      {
        "device_id": "1",
        "device_ip": "xxx.xxx.xxx.xxx"
      }
    ]
  }]
}

响应样例:

  • 成功:
    {
        "result": "OK",
    }
  • 失败:
    {
    "error": "xxx",
    "error_type": "xxxxx"
    }

响应状态码

  • 200:成功。
  • 400:错误请求。
  • 422:请求体非法。

输出说明

参数

类型

描述

result

string

成功。

error

string

错误描述。

error_type

string

错误类型。