copy_cache
函数功能
拷贝KV。
函数原型
copy_cache(dst: KvCache, src: KvCache, dst_batch_index: int = 0, src_batch_index: int = 0, offset: int = 0, size: int = -1)
参数说明
参数名称 |
数据类型 |
取值说明 |
|---|---|---|
dst |
KvCache |
目标Cache。 |
src |
KvCache |
源Cache。 |
dst_batch_index |
int |
目标Cache的batch_index。 |
src_batch_index |
int |
源Cache的batch_index。 |
offset |
int |
每个tensor的偏移, 默认为0。 |
size |
int |
设置为>0的整数，表示要拷贝的大小。 或设置为-1，表示完整拷贝。 默认为-1。 |
调用示例
kv_cache_manager.copy_cache(dst_cache, src_cache, 0, 1, 0, 128)
返回值
无
约束说明
src/dst的CacheDesc需要匹配。
父主题： KvCacheManager
