RunDecoderAsync
函数功能
异步执行增量图。
函数原型
ge::Status RunDecoderAsync(const LLMReq &req, const std::vector<ge::Tensor> &inputs, ge::RunAsyncCallback callback);
参数说明
参数名 |
输入/输出 |
描述 |
|---|---|---|
req |
输入 |
当前执行的请求。类型为LLMReq。 |
inputs |
输入 |
计算图输入Tensor，为Host上分配的内存空间 |
callback |
输入 |
回调函数。用户用来处理输出的函数 |
返回值
请求入队成功
异常处理
无。
约束说明
必须先做初始化和linkclusters后才能调用。
只能在LLM_OPTION_ROLE为Decoder的时候调用并且在LLM_OPTION_BATCH_MODE为auto的时候调用，否则会报错。
父主题： LLMEngine
