MergeKv
函数功能
将KV从本暂存区中合并到batch中, 该接口会释放暂存区中的KV。
函数原型
ge::Status MergeKv(const uint64_t req_id, const int32_t batch_index, const int32_t batch_id = 0, uint64_t model_id = 0UL);
参数说明
参数名 |
输入/输出 |
描述 |
|---|---|---|
req_id |
输入 |
请求ID, 需要和PullKv时传入的LlmReq中的req_id一致。 |
batch_index |
输入 |
合入KV的目标batch index。 |
batch_id |
输入 |
合入KV的目标batch id。 |
model_id |
输入 |
模型ID，默认为0。 |
返回值
合并KV的结果，取值如下：
- SUCCESS: 成功
- LLM_PARAM_INVALID: 参数错误， 如cluster id校验错，当前非manual batching模式， batch_index，batch_id越界等
- LLM_KV_CACHE_NOT_EXIST: KV不在暂存区
- FAILED: 合并KV失败
异常处理
无。
父主题： LLMEngine
