PreloadPromptPrefix

函数功能

预加载公共前缀。

函数原型

ge::Status PreloadPromptPrefix(const LLMReq &req, const std::vector<ge::Tensor> &inputs, uint64_t model_id = 0UL);

参数说明

返回值

• 0：执行成功。
• 其他：失败。

异常处理

无。

约束说明

必须先做初始化后才能调用。

只能在LLM_OPTION_ROLE为Prompt的时候调用，否则会报错。