FetchLLMModelStatus

函数功能

获取增量模型空闲的block数量。

函数原型

LLMModelStatus LLMEngine::FetchLLMModelStatus(uint64_t model_id)

参数说明

返回值

增量模型空闲的block数量

异常处理

无

约束说明

无