create_cpu_cache
函数功能
创建cpu cache。
函数原型
create_cpu_cache(cache_desc: CacheDesc, addrs: List[int])
参数说明
参数名称 |
数据类型 |
取值说明 |
|---|---|---|
cache_desc |
cache的描述。 |
|
addrs |
List[int] |
cpu cache的地址。 |
调用示例
from llm_datadist import KvCache cpu_cache = KvCache.create_cpu_cache(cpu_cache_desc, cpu_addrs) # cpu_addrs来自创建的cpu tensors
返回值
正常情况返回类型为KvCache的cpu_cache。
传入数据类型错误情况下会抛出TypeError异常。
传入参数为None，会抛出AttributeError异常。
约束说明
无
父主题： KvCache
