MergeKv

函数功能

将KV从本暂存区中合并到batch中, 该接口会释放暂存区中的KV。

函数原型

ge::Status MergeKv(const uint64_t req_id, const int32_t batch_index, const int32_t batch_id = 0, uint64_t model_id = 0UL);

参数说明

返回值

合并KV的结果，取值如下：

• SUCCESS: 成功
• LLM_PARAM_INVALID: 参数错误， 如cluster id校验错，当前非manual batching模式， batch_index，batch_id越界等
• LLM_KV_CACHE_NOT_EXIST: KV不在暂存区
• FAILED: 合并KV失败

异常处理

无。

约束说明

必须先做初始化和pullkv后才能调用。

只能在LLM_OPTION_ROLE为Decoder的时候调用并且在LLM_OPTION_BATCH_MODE为auto的时候调用，否则会报错。