CopyKvCache
函数功能
拷贝KV Cache。
函数原型
Status CopyKvCache(const Cache &src_cache,
const Cache &dst_cache,
uint32_t src_batch_index = 0U,
uint32_t dst_batch_index = 0U,
uint64_t offset = 0U,
int64_t size = -1);
参数说明
参数名称 |
输入/输出 |
取值说明 |
|---|---|---|
src_cache |
输入 |
源Cache。 |
dst_cache |
输入 |
目的Cache。 |
src_batch_index |
输入 |
源Cache的batch的下标。 |
dst_batch_index |
输入 |
目的Cache的batch的下标。 |
offset |
输入 |
拷贝偏移，单位为byte。 |
size |
输入 |
设置为>0的整数，表示要拷贝的大小。 或设置为-1，表示完整拷贝。 默认为-1。 |
调用示例
Status ret = llm_datadist.CopyKvCache(src_cache, dst_cache, 0, 0)
返回值
- LLM_SUCCESS: 成功
- LLM_PARAM_INVALID：参数错误
- 其他：失败
约束说明
需要在Initialize接口初始化完成后调用。只支持Device->Device与Device->Host的拷贝。
父主题： LlmDataDist