文档
注册

init

函数功能

初始化LLMDataDist。

函数原型

init(options: Dict[str, str])

参数说明

参数名称

数据类型

取值说明

options

Dict[str, str]

配置项。

传入options通过LLMConfig来生成,必填字段:device_id和listen_ip_info(只有prompt必填)。

调用示例

from llm_datadist import LLMDataDist, LLMRole, LLMConfig
llm_datadist = LLMDataDist(LLMRole.PROMPT, 0)
llm_config = LLMConfig()
llm_config.listen_ip_info = "192.168.1.1:26000"
llm_config.device_id = 0
engine_options = llm_config.generate_options()
llm_datadist.init(engine_options)

返回值

正常情况下无返回值。

异常情况会抛出LLMException。

约束说明

NA

搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词