device_id

设置当前进程device ID，对应底层ge.exec.deviceId配置项。

device_id(device_id)

参数名称	数据类型	取值说明
device_id	Union[int, List[int], Tuple[int]]	设置当前进程的device ID。支持配置为一个或者列表，配置为列表时以,间隔。单进程单卡场景下，需要配置为一个，例如：0 单进程多卡场景下，需要配置为列表，例如：[0, 1]

参数名称

数据类型

取值说明

device_id

Union[int, List[int], Tuple[int]]

设置当前进程的device ID。支持配置为一个或者列表，配置为列表时以,间隔。

from llm_datadist import LLMConfig
llm_config = LLMConfig()
# 单进程单卡设置方法
llm_config.device_id = 0
# 单进程多卡设置方法
# llm_config.device_id = [0, 1]

正常情况下无返回值。

参数错误可能抛出TypeError或ValueError。

无

父主题： LLMConfig