KvCache构造函数
函数功能
构造KvCache。
函数原型
KvCache(cache_id: int, cache_desc: CacheDesc, per_device_tensor_addrs: List[List[int]], kv_cache_manager)
参数说明
参数名称 |
数据类型 |
取值说明 |
|---|---|---|
cache_id |
int |
cache的id。 |
cache_desc |
CacheDesc |
cache的描述。 |
per_device_tensor_addrs |
List[List[int]] |
cache中各tensor的Device内存地址。 第一层按Device index索引。 第二层按cache中tensor顺序索引。 |
kv_cache_manager |
KvCacheManager |
创建KvCache的管理对象 |
调用示例
该接口不需要用户调用，KvCache对象由KvCacheManager.allocate_cache或allocate_blocks_cache返回。
返回值
正常场景下无返回值。
传入数据类型错误情况下会抛出TypeError异常。
约束说明
无
父主题： KvCache
