MergeKv
函数功能
将KV从本暂存区中合并到batch中,该接口会释放暂存区中的KV。
函数原型
ge::Status MergeKv(const uint64_t req_id, const int32_t batch_index, const int32_t batch_id = 0, uint64_t model_id = 0UL)
参数说明
参数名 |
输入/输出 |
描述 |
---|---|---|
req_id |
输入 |
请求ID,需要和PullKv时传入的LlmReq中的req_id一致。 |
batch_index |
输入 |
合入KV的目标batch index。 |
batch_id |
输入 |
合入KV的目标batch id。 |
model_id |
输入 |
模型ID,默认为0。 |
返回值
合并KV的结果,取值如下:
- SUCCESS: 成功
- LLM_PARAM_INVALID: 参数错误, 如cluster id校验错,当前非manual batching模式, batch_index,batch_id越界等
- LLM_KV_CACHE_NOT_EXIST: KV不在暂存区
- FAILED: 合并KV失败
异常处理
无。
父主题: LLMEngine