create_cpu_cache

函数功能

创建cpu cache。

函数原型

create_cpu_cache(cache_desc: CacheDesc, addrs: addrs: Union[List[int], List[List[int]]])

参数说明

调用示例

1
2
3
4
5

from llm_datadist import KvCache
cpu_addrs = []
# 单进程多卡模式下，配置多卡的地址。
# cpu_addrs = [[]]
cpu_cache = KvCache.create_cpu_cache(cpu_cache_desc, cpu_addrs) # cpu_addrs来自创建的cpu tensors

返回值

正常情况返回类型为KvCache的cpu_cache。

传入数据类型错误情况下会抛出TypeError或ValueError异常。

传入参数为None，会抛出AttributeError异常。

约束说明

无