Init接口

接口功能

LlmManager的初始化接口。

接口格式

Status Init(uint32_t modelInstanceId, std::set<size_t> npuDeviceIds)

接口参数

使用样例

// 需要定义6.1.1.4的函数
mindie_llm::GetRequestsCallback getRequestCallback;
mindie_llm::SendResponsesCallback sendResponsesCallback;
mindie_llm::ControlSignalCallback stopSignalCallback;
mindie_llm::LlmManagerStatsCallback statsCallback;
mindie_llm::SendStatusResponseCallback sendStatusCallback;
const std::string llmConfigPath;
std::map<std::string, std::string> ipInfo;
std::shared_ptr<mindie_llm::LlmManager> llmManager = std::make_shared<mindie_llm::LlmManager>(llmConfigPath, getRequestCallback, sendResponsesCallback, stopSignalCallback, statsCallback, sendStatusCallback,ipInfo);
uint32 modelInstanceId = 0;
std::set<size_t> npuDeviceIds = {0};
llmManager->Init(modelInstanceId,npuDeviceIds); 

返回值

Status对象。