kv_shapes
函数功能
配置每个kv的维度信息，对应底层llm.RefInputShapes配置项。
函数原型
kv_shapes(kv_shapes)
参数说明
参数名称 |
数据类型 |
取值说明 |
|---|---|---|
kv_shapes |
List[str] |
配置每个kv的维度信息。 |
调用示例
from llm_datadist import ModelConfig model_config = ModelConfig() kv_nums = 80 model_config.kv_shapes = ["1,1024" for _ in range(kv_nums)]
返回值
无
约束说明
无
父主题： ModelConfig
