kv_dtypes
函数功能
配置每个kv数据类型，对应底层llm.RefInputDtypes配置项。
函数原型
kv_dtypes(kv_dtypes)
参数说明
参数名称 |
数据类型 |
取值说明 |
|---|---|---|
kv_dtypes |
List[DataType] |
配置每个kv数据类型。 |
调用示例
from llm_datadist import ModelConfig, DataType model_config = ModelConfig() kv_nums = 80 model_config.kv_dtypes = [DataType.DT_FLOAT for _ in range(kv_nums)]
返回值
无
约束说明
无
父主题： ModelConfig