场景介绍

单个模型权重过大，单台推理机显存有限，无法容纳整个模型权重参数时，需要采用多个节点进行多机推理。分布式多机场景部署架构图如下图1所示。

图1 分布式多机场景部署架构图