CacheKeyByIdAndIndex
函数功能
构造CacheKeyByIdAndIndex。
函数原型
CacheKeyByIdAndIndex(cluster_id: int, cache_id: int, batch_index: int = 0)
参数说明
参数名称 |
数据类型 |
取值说明 |
|---|---|---|
cluster_id |
int |
cache所在prompt节点的集群 id。 |
cache_id |
int |
cache关联的cache id。 |
batch_index |
int |
cache的batch_index。 |
调用示例
from llm_datadist import CacheKeyByIdAndIndex cache_key = CacheKeyByIdAndIndex(0, 1, 0)
返回值
正常场景下无返回值。
传入数据类型错误情况下会抛出TypeError异常。
约束说明
无
