GetPrefillAddr接口

接口功能

获取P节点的Server IP。

接口格式

std::string GetPrefillAddr() const;

接口参数

无。

使用样例

构造一个请求对象后，为该请求对象设置全量推理阶段的IP地址，然后获取P节点的Server IP。

1
2
3
4
5
mindie_llm::InferRequestId runtimeReqId(0);
std::shared_ptr<mindie_llm::InferRequest> runtimeRequest(runtimeReqId);
string prefillAddr= "";
runtimeRequest->SetPrefillAddr(prefillAddr);
string addr = runtimeRequest->GetPrefillAddr();

返回值

P节点的Server IP。

父主题： InferRequest