LLMEngineInitializeV2
函数功能
初始化LLM Engine的资源，与包括如下：
- GE资源初始化
- LLM模型分布式部署至指定全量/增量集群。
- LLM使用的队列、事件、UDF初始化。
- TP/PP通信group建链； 全量增量之间KV传输通信域建链。
该接口当需要传入多种类型的ModelBufferData时使用。
函数原型
ge::Status LLMEngineInitializeV2( const std::map<ge::AscendString, std::vector<ge::ModelBufferData>> &model_type_to_buffer_datas, const std::map<ge::AscendString, ge::AscendString> &options)
参数说明
参数名 |
输入/输出 |
描述 |
|---|---|---|
model_type_to_buffer_datas |
输入 |
可选参数。当模型以ModelBufferData为结构时需要设置该参数。 该参数的key为model_type，取值范围为：
|
options |
输入 |
初始化参数值。具体请参考表1。 |
返回值
- 0：执行成功。
- 其他：失败。
异常处理
无。
约束说明
需要和LLMEngineFinalize配对使用并且在一个进程中不支持多次被调用，初始化成功后，任何退出前需要调用LLMEngineFinalize保证资源释放，否则会出现资源释放顺序不符合预期，导致问题。
后处理仅在LLM_OPTION_RUN_MODE=SeparateSchedule以及LLM_OPTION_ROLE为Decoder时生效。
父主题： LLMEngine
