LLM-DataDist接口列表

在大模型推理场景下，全量图和增量图一起部署时，会造成计算资源的浪费，原因如下：

全量图计算对算力要求高，序列长度不一致，在算力约束下可能导致时延增长。
增量图单次计算量小，可以增大batch以提升算力利用率。

LLM-DataDist：大模型分布式集群和数据加速组件，提供了集群KV数据管理能力，以支持全量图和增量图分离部署。

相关接口存放在："${INSTALL_DIR}/runtime/include/llm_datadist/llm_datadist.h"。${INSTALL_DIR}请替换为CANN软件安装后文件存储路径。若安装的Ascend-cann-toolkit软件包，以root安装举例，则安装后文件存储路径为：/usr/local/Ascend/ascend-toolkit/latest。

支持的产品形态：Atlas 800I A2 推理产品。

LLM-DataDist接口列表如下。

LLM-DataDist

表1 LLM-DataDist接口
接口名称	简介
LlmDataDist构造函数	构造LLMDataDist。
Initialize	初始化LLMDataDist。
Finalize	释放LLMDataDist。
SetRole	设置当前LLM-DataDist的角色。
LinkLlmClusters	建链。
UnlinkLlmClusters	断链。
AllocateCache	分配Cache。
DeallocateCache	释放Cache。
PullKvCache	以连续内存方式拉取KvCache。
PullKvBlocks	以block列表的方式拉取KvCache。
CopyKvCache	以连续内存方式拷贝KvCache。
CopyKvBlocks	以block列表的方式拷贝KvCache。