sync_kv_timeout

函数功能

配置KvCacheManager中一系列接口的超时时间，对应底层llm.SyncKvCacheWaitTime配置项。

此外，LLMModel中的一系列接口中也会调用KvCacheManager中的接口，所以也受该配置影响。

函数原型

sync_kv_timeout(sync_kv_timeout)

参数说明

调用示例

from llm_datadist import LLMConfig
llm_config = LLMConfig()
llm_config.sync_kv_timeout = 1000

返回值

无

约束说明

无