CopyKvBlocks

函数功能

通过block列表的方式拷贝KV Cache。

函数原型

Status CopyKvBlocks(const Cache &src_cache,
                    const Cache &dst_cache,
                    const std::vector<uint64_t> &src_blocks,
                    const std::vector<std::vector<uint64_t>> &dst_blocks_list);

参数说明

参数名称	输入/输出	取值说明
src_cache	输入	源Cache。
dst_cache	输入	目的Cache。
src_blocks	输入	源Cache的block index列表。
dst_blocks_list	输入	目标Cache的block index列表的列表，一组src_blocks可以拷贝到多组dst_blocks。

调用示例

Status ret = llm_datadist.CopyKvCache(src_cache, dst_cache, {1,2}, {{1,2},{3,4}});

返回值

LLM_SUCCESS: 成功
LLM_PARAM_INVALID：参数错误
其他：失败

约束说明

需要在Initialize接口初始化完成后调用。不支持Host->Host的拷贝。

父主题： LlmDataDist