pull_cache
函数功能
根据CacheKey，从对应的Prompt节点拉取KV到本地KvCache, 仅当LLMRole为DECODER时可调用。
函数原型
pull_cache(cache_key: Union[CacheKey, CacheKeyByIdAndIndex], kv_cache: KvCache, batch_index: int = 0, size: int = -1)
参数说明
参数名称 |
数据类型 |
取值说明 |
|---|---|---|
cache_key |
Union[CacheKey, CacheKeyByIdAndIndex] |
需要被拉取的CacheKey。 通过req_id, prefix_id, model_id拉取则传入CacheKey 通过cache_id, batch_index拉取则传入CacheKeyByIdAndIndex。 |
kv_cache |
KvCache |
目标KvCache。 |
batch_index |
int |
batch index，默认为0。 |
size |
int |
设置为>0的整数，表示要拉取的tensor大小。 或设置为-1，表示完整拷贝。 默认为-1。 |
调用示例
kv_cache_manager.pull_cache(prompt_cache_key, cache)
返回值
正常情况下无返回值。
传入数据类型错误情况下会抛出TypeError异常。
约束说明
无
父主题： KvCacheManager
