copy_blocks
函数功能
PagedAttention场景下，拷贝KV。
函数原型
copy_blocks(cache: KvCache, copy_block_info: Dict[int, List[int]])
参数说明
参数名称 |
数据类型 |
取值说明 |
|---|---|---|
cache |
KvCache |
目标Cache。 |
copy_block_info |
Dict[int, List[int]] |
dict里面内容代表(原始block index, 目标block index列表)。 |
调用示例
kv_cache_manager.copy_blocks(cache, {1: [2,3]})
返回值
无
约束说明
无。
父主题： KvCacheManager
