allocate_blocks_cache
函数功能
PagedAttention场景下,分配多个blocks的Cache,Cache分配成功后,可通过deallocate_cache释放内存。
函数原型
allocate_blocks_cache(cache_desc: CacheDesc, blocks_cache_key: Optional[BlocksCacheKey] = None)
参数说明
参数名称 |
数据类型 |
取值说明 |
---|---|---|
cache_desc |
CacheDesc |
Cache的描述。 |
blocks_cache_key |
Optional[BlocksCacheKey] |
仅当LLMRole为PROMPT时可设置,用于在DECODER拉取KV。 |
调用示例
from llm_datadist import BlocksCacheKey blocks_cache_key = BlocksCacheKey(0, 0) cache = kv_cache_manager.allocate_blocks_cache(kv_cache_desc, blocks_cache_key)
约束说明
无。
父主题: KvCacheManager