通过环境变量配置资源信息

使用前须知

1. 针对Atlas 训练系列产品，如果使用1台训练服务器（Server），要求实际参与集合通信的昇腾AI处理器数目只能为1/2/4/8，且0-3卡和4-7卡各为一个组网。使用2张卡或4张卡训练时，不支持跨组网创建设备集群。
2. 针对Atlas 训练系列产品，Server集群场景下（即由集群管理主节点和一组训练服务器组成训练服务器集群），要求参与集合通信的昇腾AI处理器数目只能为1*n、2*n、4*n、8*n（其中n为参与训练的Server个数，上限为512）。且n为2的指数倍情况下，集群性能最好，建议用户优先采用此种方式进行集群组网。

配置说明

需要在执行训练的每个Server节点上分别配置如下环境变量，进行资源信息的配置，示例如下：

export CM_CHIEF_IP = 192.168.1.1
export CM_CHIEF_PORT = 6000
export CM_CHIEF_DEVICE = 0
export CM_WORKER_SIZE = 8
export CM_WORKER_IP = 192.168.0.1

• CM_CHIEF_IP、CM_CHIEF_PORT、CM_CHIEF_DEVICE 用于配置Master节点的Host监听IP、监听端口与Device ID。
  • 监听IP可以通过ifconfig命令进行查询。
  • 指定的监听端口号需要确保在训练进程拉起时，无其他业务占用。
• CM_WORKER_SIZE：用于配置参与集群训练的Device数量。
• CM_WORKER_IP：用于配置当前节点与Master进行通信时所用的网卡IP，可通过ifconfig命令进行查询。

  需要确保指定的网卡IP能够与Master节点正常通信。

配置示例

假设执行分布式训练的Server节点数量为2，Device数量为16为例，每个Server节点有8个Device。拉起训练进程前，在对应的shell窗口中配置如下环境变量，进行资源信息的配置。

• 节点0，此节点为Master节点。

  export CM_CHIEF_IP = 192.168.1.1
  export CM_CHIEF_PORT = 6000
  export CM_CHIEF_DEVICE = 0
  export CM_WORKER_SIZE = 16
  export CM_WORKER_IP = 192.168.1.1

• 节点1

  export CM_CHIEF_IP = 192.168.1.1
  export CM_CHIEF_PORT = 6000
  export CM_CHIEF_DEVICE = 0
  export CM_WORKER_SIZE = 16
  export CM_WORKER_IP = 192.168.2.1

后续说明

通过环境变量的方式设置参与分布式训练的资源信息后，若后续执行在线推理，请注意此种场景下仅支持全量设备参与推理，否则会导致推理任务执行失败。