SetReqType接口

接口功能

设置请求类型，prefill或decode。

接口格式

void SetReqType(mindie_llm::InferReqType reqType);

接口参数

参数

是否必选

说明

取值要求

reqType

是

请求类型。
  • REQ_STAND_INFER = 0,
  • REQ_PREFILL = 1,
  • REQ_DECODE = 2。

使用样例

mindie_llm::InferRequestId runtimeReqId(0);
std::shared_ptr<mindie_llm::InferRequest> runtimeRequest(runtimeReqId);
runtimeRequest->SetReqType(mindie_llm::InferReqType::REQ_STAND_INFER);

返回值

无。

父主题： InferRequest