init

函数功能

初始化LLMDataDist。目前支持如下两种模式。

KvCache管理模式（默认），其通过类似client-server方式建链，限制只能从Decoder往Prompt拉取KV。该模式下的相关接口包括：add_model、link_clusters、unlink_clusters、complete_request、kv_cache_manager、switch_role和check_capacity。
CacheManager模式，其通过通信域模式建链，Decoder和Prompt可以双向拉取Cache。该模式下的相关接口包括：link、unlink、query_register_mem_status、cache_manager和switch_role。

函数原型

init(options: Dict[str, str]）

参数说明

参数名称	数据类型	取值说明
options	Dict[str, str]	配置项。传入的options可以通过LLMConfig来生成。在默认的KvCache管理模式下必填字段：device_id和listen_ip_info（只有prompt必填）。在CacheManager模式下（开启方式是配置enable_cache_manager为True），只有device_id是必填。

参数名称

数据类型

取值说明

options

Dict[str, str]

配置项。

传入的options可以通过LLMConfig来生成。

在默认的KvCache管理模式下必填字段：device_id和listen_ip_info（只有prompt必填）。
在CacheManager模式下（开启方式是配置enable_cache_manager为True），只有device_id是必填。

调用示例

from llm_datadist import LLMDataDist, LLMRole, LLMConfig
llm_datadist = LLMDataDist(LLMRole.PROMPT, 0)
llm_config = LLMConfig()
llm_config.listen_ip_info = "192.168.1.1:26000"
llm_config.device_id = 0
engine_options = llm_config.generate_options()
llm_datadist.init(engine_options)

返回值

正常情况下无返回值。

异常情况会抛出LLMException。

约束说明

init成功后，系统退出前需要调用finalize。

父主题： LLMDataDist