FetchLLMModelStatus
函数功能
获取增量模型空闲的block数量。
函数原型
LLMModelStatus LLMEngine::FetchLLMModelStatus(uint64_t model_id)
参数说明
参数名 |
输入/输出 |
描述 |
|---|---|---|
model_id |
输入 |
模型id。 |
返回值
增量模型空闲的block数量
异常处理
无
约束说明
无
父主题： LLMEngine
