IsPrefillReq接口

接口功能

请求是否是Prefill类型。

接口格式

bool IsPrefillReq() const;

接口参数

无。

使用样例

构造一个请求对象后，为该请求对象设置请求类型，然后获取该请求是否为Prefill请求。

1
2
3
4
mindie_llm::InferRequestId runtimeReqId(0);
std::shared_ptr<mindie_llm::InferRequest> runtimeRequest(runtimeReqId);
runtimeRequest->SetReqType(mindie_llm::InferReqType::REQ_STAND_INFER);
bool isPrefill = runtimeRequest->IsPrefillReq();

返回值

bool值。

父主题： InferRequest