kv_seq_len_dim_index
函数功能
配置序列长度所在维度,对应底层llm.RefInputSeqLenDimIndex配置项。
函数原型
kv_seq_len_dim_index(kv_seq_len_dim_index)
参数说明
参数名称 |
数据类型 |
取值说明 |
---|---|---|
kv_seq_len_dim_index |
int |
配置序列长度所在维度。 |
调用示例
from llm_datadist import ModelConfig model_config = ModelConfig() model_config.kv_seq_len_dim_index = 1
返回值
无
约束说明
无
父主题: ModelConfig