copy_cache
函数功能
拷贝KV。
函数原型
copy_cache(dst: KvCache, src: KvCache, dst_batch_index: int = 0, src_batch_index: int = 0, offset: int = 0, size: int = -1, req_id: Optional[int] = None)
参数说明
参数名称 |
数据类型 |
取值说明 |
---|---|---|
dst |
KvCache |
目标Cache。 |
src |
KvCache |
源Cache。 |
dst_batch_index |
int |
目标Cache的batch_index。 |
src_batch_index |
int |
源Cache的batch_index。 |
offset |
int |
每个tensor的偏移,默认为0。 |
size |
int |
设置为>0的整数,表示要拷贝的大小。 或设置为-1,表示完整拷贝。 默认为-1。 |
req_id |
Optional[int] |
本次调用关联的req_id,如果设置了该参数则本地调用相关的维测日志中会打印该req_id 默认为None |
调用示例
kv_cache_manager.copy_cache(dst_cache, src_cache, 0, 1, 0, 128)
约束说明
src/dst的CacheDesc需要匹配。
父主题: KvCacheManager