GetSrcBlockTable接口

接口功能

获取请求在P节点上的block table下标。

接口格式

std::vector<int64_t> GetSrcBlockTable() const;

接口参数

无。

使用样例

构造一个请求对象后，为该请求对象设置请求在P节点上的block table，获取请求在P节点上的block table下标。

1
2
3
4
5
mindie_llm::InferRequestId runtimeReqId(0);
std::shared_ptr<mindie_llm::InferRequest> runtimeRequest(runtimeReqId);
std::vector<int64_t> srcBlockTable{0, 1, 2};
runtimeRequest->SetSrcBlockTable(srcBlockTable);
auto blockTable = runtimeRequest->GetSrcBlockTable();

返回值

源block table。

父主题： InferRequest