LlmManager接口

接口功能

默认构造函数。

接口格式

LlmManager(const std::string &llmConfigPath, mindie_llm::GetRequestsCallback getRequest,
        mindie_llm::SendResponsesCallback sendResponse, mindie_llm::ControlSignalCallback controlCallback,
        mindie_llm::LlmManagerStatsCallback statusCallback,
        mindie_llm::SendStatusResponseCallback statusResponseCallback,
std::map<std::string, std::string> ipInfo = std::map<std::string, std::string>())

接口参数

函数中Callback定义的五个函数指针类型，以及如下参数

参数	是否必选	说明	取值要求
ipInfo	是	将PD场景模型初始化需要的节点身份信息相关参数传递给模型。	std::map<std::string, std::string>
llmConfigPath	是	将llmmanager需要的配置路径传递给llmmanager的构造函数。	const std::string

使用样例

mindie_llm::GetRequestsCallback getRequestCallback;
mindie_llm::SendResponsesCallback sendResponsesCallback;
mindie_llm::ControlSignalCallback stopSignalCallback;
mindie_llm::LlmManagerStatsCallback statsCallback;
mindie_llm::SendStatusResponseCallback sendStatusCallback;
const std::string llmConfigPath;
std::map<std::string, std::string> ipInfo;
std::shared_ptr<mindie_llm::LlmManager> llmManager = std::make_shared<mindie_llm::LlmManager>(llmConfigPath, getRequestCallback, sendResponsesCallback, stopSignalCallback, statsCallback, sendStatusCallback,ipInfo);

返回值

返回LlmManager对象。

父主题： LlmManager