CacheKey
函数功能
构造CacheKey。
函数原型
_INVALID_ID = 2 ** 64 - 1
CacheKey(prompt_cluster_id: int, req_id: int, model_id: int = 0, prefix_id: int=_INVALID_ID)
参数说明
参数名称 |
数据类型 |
取值说明 |
|---|---|---|
prompt_cluster_id |
int |
cache所在prompt节点的集群id。 |
req_id |
int |
cache关联的req_id。 |
model_id |
int |
cache关联的model_id。 |
prefix_id |
int |
cache关联的公共前缀id。 |
调用示例
from llm_datadist import CacheKey cache_key = CacheKey(0, 1, 0)
返回值
正常场景下无返回值。
传入数据类型错误情况下会抛出TypeError异常。
约束说明
无
