文档
注册

ReleasePromptPrefix

函数功能

释放公共前缀。

函数原型

ge::Status ReleasePromptPrefix(const LLMReq &req, uint64_t model_id = 0UL);

参数说明

参数名

输入/输出

描述

req

输入

当前执行的请求。类型为LLMReq。需要释放的公共前缀PrefixId。

LLMReq中SetPrefixId的有效值范围为[0, UINT64_MAX), 多次Set时只有最后一次生效。

model_id

输入

模型ID,默认为0。

返回值

  • 0:执行成功。
  • 其他:失败。

异常处理

无。

约束说明

必须先做初始化后才能调用。

只能在LLM_OPTION_ROLE为Prompt的时候调用,否则会报错。

搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词