下载
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助
昇腾小AI

PullKv

函数功能

从Prompt cluster拉取该request对应的KV到本Decoder cluster的暂存区中,每次调用成功后都会覆盖暂存区之前的KV。

函数原型

ge::Status PullKv(const LLMReq &req, uint64_t model_id = 0UL)

参数说明

参数名

输入/输出

描述

req

输入

当前执行的请求。类型LLMReq

model_id

输入

模型ID,默认为0。

返回值

拉取KV的结果,取值如下:

  • SUCCESS: 成功
  • LLM_PARAM_INVALID: 参数错误,如cluster id校验错误,当前非manual batching模式等。
  • LLM_KV_CACHE_NOT_EXIST: prompt中不存在该request对应的KV。
  • FAILED: 拉取KV失败

异常处理

无。

约束说明

必须先做初始化和linkclusters后才能调用。

只能在LLM_OPTION_ROLE为Decoder的时候调用并且在LLM_OPTION_BATCH_MODE为auto的时候调用,否则会报错。

只有一个暂存区,连续调用时,后续的调用会覆盖暂存区之前的KV。

搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词