kv_dtypes

函数功能

配置每个kv数据类型，对应底层llm.RefInputDtypes配置项。

函数原型

kv_dtypes(kv_dtypes)

参数说明

调用示例

from llm_datadist import ModelConfig, DataType
model_config = ModelConfig()
kv_nums = 80
model_config.kv_dtypes = [DataType.DT_FLOAT for _ in range(kv_nums)]

返回值

无

约束说明

无