简介

什么是分布式训练

在深度学习中，当数据集和参数量的规模越来越大，训练所需的时间和硬件资源会随之增加，最后会变成制约训练的瓶颈。分布式并行训练，可以降低对内存、计算性能等硬件的需求，是进行训练的重要优化手段。

分布式训练通过将计算任务按照一定的方法拆分到不同的昇腾AI处理器上来加速模型的训练速度，拆分的计算任务之间通过集合通信来完成信息的汇总和交换，完成整个训练任务的并行处理，从而实现加快计算任务的目的。

根据并行的原理及模式不同，业界主流的并行类型有以下几种：

• 数据并行（Data Parallel）：对数据进行切分的并行模式，一般按照batch维度切分，将数据分配到各个计算单元（worker）中，进行模型计算。数据并行方法将数据分配到不同的节点之上，而模型则被复制到每一个节点，每次迭代中，每个昇腾AI处理器用自己的那一份数据进行计算。在数据并行中，模型参数的同步是非常重要的一步，目前支持Allreduce架构和ParameterServer架构两种同步模式。
• 模型并行（Model Parallel）：对模型进行切分的并行模式。包括层内模型并行模式，即对参数切分后分配到各个计算单元中进行训练。
• 混合并行（Hybrid Parallel）：指数据并行、模型并行等多种方式混合使用。

Server单机

Server单机场景，即由1台训练服务器（Server）完成训练，每台Server包含8块昇腾AI处理器。

针对Atlas 训练系列产品，参与集合通信的处理器数目只能为1/2/4/8，且0-3卡和4-7卡各为一个组网，使用2张卡或4张卡训练时，不支持跨组网创建设备集群。

针对Atlas A2 训练系列产品，参与集合通信的处理器数目可以是任意组合。

Server集群

Server集群场景，即由集群管理主节点+一组训练服务器（Server）组成训练服务器集群。

针对Atlas 训练系列产品，Server当前支持的上限是512台。每台Server上包含8块昇腾AI处理器，各AI处理器通过集合通信能力实现数据并行。Server集群场景下，参与集合通信的的昇腾AI处理器数目可以为1*n、2*n、4*n、8*n（其中n为参与训练的Server个数，最大支持512），n为2的指数倍情况下，集群性能最好，建议用户优先采用此种方式进行集群组网。

针对Atlas A2 训练系列产品，Server当前支持的上限是1024台。每台Server上包含8块昇腾AI处理器，各AI处理器通过集合通信能力实现数据并行。Server集群场景下，参与集合通信的昇腾AI处理器数目为（1~8）*n（其中n为参与训练的Server个数，最大支持1024），其中n为2的指数倍情况下，集群性能最好，建议用户优先采用此种方式进行集群组网。注意，每个Sever中参与集合通信的昇腾AI处理器数量需要保持一致。

集群训练场景下，一个分布式训练执行流程如下：

训练作业经过集群管理主节点下发到训练服务器，由服务器上的作业Agent根据App指定的设备数量，启动相应个数的TensorFlow进程执行训练，一个TensorFlow进程和一个昇腾AI处理器对应。