RunPrompt
函数功能
执行全量图。
函数原型
ge::Status RunPrompt(const LLMReq &req, const std::vector<ge::Tensor> &inputs, std::vector<ge::Tensor> &output, uint64_t model_id = 0UL);
参数说明
参数名 |
输入/输出 |
描述 |
|---|---|---|
req |
输入 |
当前执行的请求。类型LLMReq。 如果需要使用公共前缀进行全量推理，请按照如下步骤操作。
|
inputs |
输入 |
计算图输入Tensor，为Host上分配的内存空间 |
output |
输出 |
计算图输出Tensor，用户无需分配内存空间，执行完成后GE会分配内存并赋值。 |
model_id |
输入 |
模型ID，默认为0。 |
返回值
执行成功
异常处理
无。
约束说明
必须先做初始化后才能调用。
只能在LLM_OPTION_ROLE为Prompt的时候调用，否则会报错。
只能在LLM_OPTION_BATCH_MODE不为manual的时候调用，否则会报错。
当执行的模型是动态模型，并且会将模型部署到多个device上的场景下，若观察接口耗时发现性能波动比较大，可以通过对执行进程进行绑核尝试解决。绑核方式：'taskset -c 0-15 执行进程'，0-15是绑定的cpu核的范围，绑定的cpu核的个数建议配置为部署的device数量*2 + 进程脚本中自行拉起的线程数量。比如执行8p的模型用到8个device，进程脚本中没有拉起线程，那么配置的cpu核数就是16，范围选可用的cpu核：0-15。
父主题： LLMEngine
