LLM-DataDist概述

在大模型推理场景下，全量图和增量图一起部署时，会造成计算资源的浪费，原因如下：

• 全量图计算对算力要求高，序列长度不一致，在算力约束下可能导致时延增长；
• 增量图单次计算量小，可以增大batch以提升算力利用率。

LLM-DataDist：大模型分布式集群和数据加速组件，提供了集群KV数据管理能力，以支持全量图和增量图分离部署。

支持的产品形态：Atlas A2训练系列产品/Atlas 800I A2推理产品。