CacheManager简介

在开启CacheManager场景下，开启方式是在初始化LLMDataDist时设置llm.EnableCacheManager为1，提供一系列接口用于操作Cache。CacheManager的实例应该通过cache_manager返回。