sync_kv_timeout
函数功能
配置拉取kv等接口超时时间，对应底层llm.SyncKvCacheWaitTime配置项。
函数原型
sync_kv_timeout(sync_kv_timeout)
参数说明
参数名称 |
数据类型 |
取值说明 |
|---|---|---|
sync_kv_timeout |
int |
同步kv超时时间，单位：ms，不配置默认为1000ms。 相关接口：KvCacheManager中的所有接口。 |
调用示例
from llm_datadist import LLMConfig llm_config = LLMConfig() llm_config.sync_kv_timeout = 1000
返回值
无
约束说明
无
父主题： LLMConfig
