pull_blocks

函数功能

PagedAttention场景下，根据BlocksCacheKey，通过block列表的方式从对应的Prompt节点拉取KV到本地KvCache，仅当LLMRole为DECODER时可调用。

函数原型

pull_blocks(prompt_cache_key: BlocksCacheKey, decoder_kv_cache: KvCache, prompt_blocks: List[int], decoder_blocks: List[int])

参数说明

调用示例

kv_cache_manager.pull_blocks(prompt_cache_key, cache, [0, 1], [2, 3])

返回值

正常情况下无返回值。

传入数据类型错误情况下会抛出TypeError或ValueError异常。

执行时间超过sync_kv_timeout配置会抛出LLMException异常。

约束说明

无