kv_cache_manager
函数功能
获取KvCacheManager实例。
函数原型
kv_cache_manager()
参数说明
无
调用示例
from llm_datadist import LLMDataDist, LLMRole llm_datadist = LLMDataDist(LLMRole.DECODER, 0) ... llm_datadist.init(engine_options) kv_cache_manager = llm_datadist.kv_cache_manager
返回值
返回KvCacheManager实例。
约束说明
无。
父主题: LLMDataDist