PullKv

函数功能

从Prompt cluster拉取该request对应的KV到本Decoder cluster的暂存区中，每次调用成功后都会覆盖暂存区之前的KV。

函数原型

ge::Status PullKv(const LLMReq &req, uint64_t model_id = 0UL);

参数说明

返回值

拉取KV的结果，取值如下：

• SUCCESS: 成功
• LLM_PARAM_INVALID: 参数错误, 如cluster id校验错误, 当前非manual batching模式等
• LLM_KV_CACHE_NOT_EXIST: prompt中不存在该request对应的KV
• FAILED: 拉取KV失败

异常处理

无。

约束说明

必须先做初始化和linkclusters后才能调用。

只能在LLM_OPTION_ROLE为Decoder的时候调用并且在LLM_OPTION_BATCH_MODE为auto的时候调用，否则会报错。

只有一个暂存区，连续调用时，后续的调用会覆盖暂存区之前的KV。