Prefix Cache特性介绍

当前大语言模型推理系统普遍采用KV Cache缓存机制，但该机制存在以下两个问题：

随着LLM支持的序列长度不断增长，KV Cache所需要的显存资源也急剧增加。
KV Cache只对当前session有效，如果跨session存在重复token序列的情况下无法实现复用。

Prefix Cache通过RadixTree保留session结束后的KV Cache，新的session请求在RadixTree中查找是否存在相同的Token序列，即可复用之前计算好的KV Cache，从而实现跨session的KV Cache复用。

其优势主要包括：

更短的prefill时间：由于跨session的重复token序列对应的KV Cache可以复用，那么就可以减少一部分前缀token的KV Cache计算时间，从而减少prefill的时间。
更高效的显存使用：当正在处理的sessions相互之间存在公共前缀时，公共前缀部分的KV Cache可以共用，不必重复占用多份显存。

限制与约束

Atlas 800I A2 推理产品和Atlas 300I Duo 推理卡硬件支持此特性。
LLaMa系列、Qwen1.5和Qwen2系列模型支持对接此特性。
当跨session公共前缀token数大于等于Page Attention中的block size，才会进行公共前缀token的KV Cache复用。
该特性不能和PD分离、Multi-LoRA、SplitFuse、并行解码以及KV Cache量化特性同时使用。
暂不支持与LoRA特性配合。

开启Prefix Cache特性需要配置的补充参数如表1及表2所示：

表1 Prefix Cache补充参数1：**ModelDeployConfig中的ModelConfig参数**
配置项	取值类型	取值范围	配置说明
plugin_params	std::string	"{\"plugin_type\":\"prefix_cache\"}"或""	不添加该字段或将该字段设置为""均表示默认不生效任何插件功能。 "{\"plugin_type\":\"prefix_cache\"}"表示执行Prefix Cache。须知：若enablePrefixCache开启，则此处必须开启为prefix_cache。若enablePrefixCache不开启，为非必填项。

表2 Prefix Cache补充参数2：**ScheduleConfig的参数**
配置项	取值类型	取值范围	配置说明
enablePrefixCache	bool	true false	true：会开启Prefix Cache特性。 false：不会开启Prefix Cache特性。

执行推理

配置服务化参数。该特性需配合MindIE Service使用，按照表1及表2在服务化的config.json文件中添加相应参数，config.json文件路径的详细说明请参考：《MindIE安装指南》中“配置MindIE > 配置MindIE Server > 单机推理”章节中的软件包文件清单。
启动服务。具体请参考《MindIE Service开发指南》的“快速开始 > 启动服务”章节。

父主题： 特性介绍