KvCache

构造KvCache。

KvCache(cache_id: int, cache_desc: CacheDesc, per_device_tensor_addrs: List[List[int]])

参数名称	数据类型	取值说明
cache_id	int	cache的id。
cache_desc	CacheDesc	cache的描述。
per_device_tensor_addrs	List[List[int]]	cache中各tensor的Device内存地址。第一层按Device index索引。第二层按cache中tensor顺序索引。

参数名称

数据类型

取值说明

cache_id

int

cache的id。

cache_desc

CacheDesc

cache的描述。

per_device_tensor_addrs

List[List[int]]

cache中各tensor的Device内存地址。

第一层按Device index索引。

第二层按cache中tensor顺序索引。

该接口不需要用户调用，KvCache对象由KvCacheManager.allocate_cache或allocate_blocks_cache返回。

正常场景下无返回值。

传入数据类型错误情况下会抛出TypeError异常。

无