CapacityState
函数功能
构造Cache，该接口通常不需要用户调用，由check_capacity接口返回，表示系统内存状态。
函数原型
__init__(is_available: bool, free_tokens_num: int, total_tokens_num: int) -> None
参数说明
参数名称 |
数据类型 |
取值说明 |
|---|---|---|
is_available |
bool |
表示内存是否足够。false时，表示没有足够空间缓存kv cache，如果继续调用predict，会有oom报错。 |
free_tokens_num |
int |
空闲token的数量。 |
total_tokens_num |
int |
token的总数量。 |
调用示例
1 2 3 4 5 6 7 | from llm_datadist import LLMDataDist, LLMRole llm_datadist = LLMDataDist(LLMRole.PROMPT, 0) ... llm_req = LLMReq() llm_req.prompt_length = 1 capacity_state = llm_datadist.check_capacity(llm_req.prompt_length) print(capacity_state) |
返回值
返回CapacityState的实例。
约束说明
无