设置请求在P节点上的server IP。
void SetPrefillAddr(std::string &prefillAddr);
参数 |
是否必选 |
说明 |
取值要求 |
|---|---|---|---|
prefillAddr |
是 |
全量推理阶段的ip地址。 |
合法的string类型，server ip地址。 |
构造一个请求对象后，为该请求对象设置全量推理阶段的IP地址。
1 2 3 4 | mindie_llm::InferRequestId runtimeReqId(0); std::shared_ptr<mindie_llm::InferRequest> runtimeRequest(runtimeReqId); string prefillAddr= ""; runtimeRequest->SetPrefillAddr(prefillAddr); |
无。