kv_tensor_format
函数功能
设置kv cache tensor的format。在调用check_capacity功能时配置,用于计算每个token的size大小。
函数原型
kv_tensor_format(kv_tensor_format)
参数说明
参数名称 |
数据类型 |
取值说明 |
---|---|---|
kv_tensor_format |
str |
kv cache tensor的format信息,例如"BSH", "BNSD"等。 |
调用示例
from llm_datadist import ModelConfig model_config = ModelConfig() model_config.kv_tensor_format = "BSH"
返回值
无
约束说明
配合check_capacity使用。
父主题: ModelConfig