GetSrcBlockTable接口
接口功能
获取请求在P节点上的block table下标。
接口格式
std::vector<int64_t> GetSrcBlockTable() const;
接口参数
无。
使用样例
mindie_llm::InferRequestId runtimeReqId(0); std::shared_ptr<mindie_llm::InferRequest> runtimeRequest(runtimeReqId); std::vector<int64_t> srcBlockTable{0, 1, 2}; runtimeRequest->SetSrcBlockTable(srcBlockTable); auto blockTable = runtimeRequest->GetSrcBlockTable();
返回值
源block table。
父主题: InferRequest