LLMEngineInitializeV2

函数功能

初始化LLM Engine的资源，与包括如下：

GE资源初始化
LLM模型分布式部署至指定全量/增量集群。
LLM使用的队列、事件、UDF初始化。
TP/PP通信group建链；全量增量之间KV传输通信域建链。

该接口当需要传入多种类型的ModelBufferData时使用。

函数原型

ge::Status ::LLMEngineInitializeV2( const std::map<ge::AscendString, std::vector<ge::ModelBufferData>> &model_type_to_buffer_datas, const std::map<ge::AscendString, ge::AscendString> &options)；

参数说明

参数名	输入/输出	描述
model_type_to_buffer_datas	输入	可选参数。当模型以ModelBufferData为结构时需要设置该参数。该参数的key为model_type, 取值范围为： "inference": 推理模型 "postprocess": 后处理模型
options	输入	初始化参数值。具体请参考表1。

参数名

输入/输出

描述

model_type_to_buffer_datas

输入

可选参数。当模型以ModelBufferData为结构时需要设置该参数。

该参数的key为model_type, 取值范围为：

"inference": 推理模型
"postprocess": 后处理模型

options

输入

初始化参数值。具体请参考表1。

返回值

0：执行成功。
其他：失败。

异常处理

无。

约束说明

需要和LLMEngineFinalize配对使用并且在一个进程中不支持多次被调用，初始化成功后，任何退出前需要调用LLMEngineFinalize保证资源释放，否则会出现资源释放顺序不符合预期，导致问题。

后处理仅在LLM_OPTION_RUN_MODE=SeparateSchedule以及LLM_OPTION_ROLE为Decoder时生效。

父主题： LLMEngine