CapacityState
函数功能
check_capacity接口的返回值，表示内存情况。
函数原型
CapacityState(is_available: bool, free_tokens_num: int, total_tokens_num: int) -> None
参数说明
参数名称 |
数据类型 |
取值说明 |
|---|---|---|
is_available |
bool |
表示内存是否足够。false时，表示没有足够空间缓存kv cache，如果继续调用predict，会有oom报错。 |
free_tokens_num |
int |
空闲token的数量。 |
total_tokens_num |
int |
token的总数量。 |
调用示例
from llm_datadist import LLMDataDist, LLMRole llm_datadist = LLMDataDist(LLMRole.PROMPT, 0) ... llm_req = LLMReq() llm_req.prompt_length = 1 capacity_state = llm_datadist.check_capacity(llm_req.prompt_length) print(capacity_state)
返回值
无
约束说明
无