is_initialized
函数功能
查询KvCacheManager实例是否已初始化。
函数原型
is_initialized() -> bool
参数说明
NA
调用示例
from llm_datadist import LLMDataDist llm_datadist = LLMDataDist(LLMRole.DECODER, 0) ... llm_datadist.init(engine_options) kv_cache_manager = llm_datadist.kv_cache_manager is_initialized = kv_cache_manager.is_initialized()
返回值
如果LLMDataDist已初始化,则返回True。
如果LLMDataDist已销毁,则返回False。
约束说明
如果该接口返回False,则不应调用KvCacheManager的任何接口。
父主题: KvCacheManager