pull_cache
函数功能
根据CacheKey，从对应的Prompt节点拉取KV到本地KvCache，仅当LLMRole为DECODER时可调用。
函数原型
pull_cache(cache_key: Union[CacheKey, CacheKeyByIdAndIndex], kv_cache: KvCache, batch_index: int = 0, size: int = -1)
参数说明
参数名称 |
数据类型 |
取值说明 |
|---|---|---|
cache_key |
Union[CacheKey, CacheKeyByIdAndIndex] |
需要被拉取的CacheKey。 通过req_id，prefix_id，model_id拉取则传入CacheKey。 通过cache_id，batch_index拉取则传入CacheKeyByIdAndIndex。 |
kv_cache |
目标KvCache。 |
|
batch_index |
int |
batch index，默认为0。 |
size |
int |
设置为>0的整数，表示要拉取的tensor大小。 或设置为-1，表示完整拷贝。 默认为-1。 |
调用示例
kv_cache_manager.pull_cache(prompt_cache_key, cache)
约束说明
无
父主题： KvCacheManager