PreloadPromptPrefix

预加载公共前缀。

ge::Status PreloadPromptPrefix(const LLMReq &req, const std::vector<ge::Tensor> &inputs, uint64_t model_id = 0UL)

参数名	输入/输出	描述
req	输入	当前执行的请求。设置公共前缀的PrefixId。类型为LLMReq。 LLMReq中SetPrefixId的有效值范围为[0, UINT64_MAX), 多次Set时只有最后一次生效。
inputs	输入	计算图输入Tensor，为Host上分配的内存空间。
model_id	输入	模型ID，默认为0。

参数名

输入/输出

描述

req

输入

当前执行的请求。设置公共前缀的PrefixId。

类型为LLMReq。

LLMReq中SetPrefixId的有效值范围为[0, UINT64_MAX), 多次Set时只有最后一次生效。

inputs

输入

计算图输入Tensor，为Host上分配的内存空间。

model_id

输入

模型ID，默认为0。

无。

必须先做初始化后才能调用。

只能在LLM_OPTION_ROLE为Prompt的时候调用，否则会报错。

父主题： LLMEngine