init
函数功能
初始化LLMDataDist。
函数原型
init(options: Dict[str, str])
参数说明
参数名称 |
数据类型 |
取值说明 |
---|---|---|
options |
Dict[str, str] |
配置项。 传入options通过LLMConfig来生成,必填字段:device_id和listen_ip_info(只有prompt必填)。 |
调用示例
from llm_datadist import LLMDataDist, LLMRole, LLMConfig llm_datadist = LLMDataDist(LLMRole.PROMPT, 0) llm_config = LLMConfig() llm_config.listen_ip_info = "192.168.1.1:26000" llm_config.device_id = 0 engine_options = llm_config.generate_options() llm_datadist.init(engine_options)
返回值
正常情况下无返回值。
异常情况会抛出LLMException。
约束说明
init成功后,系统退出前需要调用finalize
父主题: LLMDataDist