UpdateEngineInfo接口
接口功能
下发切换身份请求。
接口格式
bool UpdateEngineInfo(std::shared_ptr<mindie_llm::InferRequest> &runtimeRequest, bool isForceRelease);
接口参数
参数 |
是否必选 |
说明 |
取值要求 |
---|---|---|---|
runtimeRequest |
是 |
切换身份请求。 |
std::shared_ptr<MindIE_LLM::InferRequest>。 |
isForceRelease |
是 |
是否强制释放节点间连接。 |
bool。 |
使用样例
mindie_llm::GetRequestsCallback getRequestCallback; mindie_llm::SendResponsesCallback sendResponsesCallback; mindie_llm::ControlSignalCallback stopSignalCallback; mindie_llm::LlmManagerStatsCallback statsCallback; mindie_llm::SendStatusResponseCallback sendStatusCallback; const std::string llmConfigPath; std::map<std::string, std::string> ipInfo; std::shared_ptr<mindie_llm::LlmManager> llmManager = std::make_shared<mindie_llm::LlmManager>(llmConfigPath, getRequestCallback, sendResponsesCallback, stopSignalCallback, statsCallback, sendStatusCallback,ipInfo); std::shared_ptr<MindIE_LLM::InferRequest> request; llmManager->UpdateEngineInfo(request, false);
返回值
bool值。
父主题: LlmManager