CopyKvBlocks
函数功能
通过block列表的方式拷贝KV Cache。
函数原型
1 2 3 4 | Status CopyKvBlocks(const Cache &src_cache, const Cache &dst_cache, const std::vector<uint64_t> &src_blocks, const std::vector<std::vector<uint64_t>> &dst_blocks_list) |
参数说明
参数名称 |
输入/输出 |
取值说明 |
|---|---|---|
src_cache |
输入 |
源Cache。 |
dst_cache |
输入 |
目的Cache。 |
src_blocks |
输入 |
源Cache的block index列表。 |
dst_blocks_list |
输入 |
目标Cache的block index列表的列表，一组src_blocks可以拷贝到多组dst_blocks。 |
调用示例
1 | Status ret = llm_datadist.CopyKvCache(src_cache, dst_cache, {1,2}, {{1,2},{3,4}}) |
返回值
- LLM_SUCCESS: 成功
- LLM_PARAM_INVALID：参数错误
- 其他：失败
约束说明
需要在Initialize接口初始化完成后调用。不支持Host->Host的拷贝。
父主题： LlmDataDist接口