类说明 InferenceRequest推理引擎功能请求实现类,提供Request初始化,Tensor设置,获取请求信息等功能入口。 以下章节的中的P节点表示:prefill节点,D节点表示:decode节点。 父主题: InferRequest