RANK_TABLE_FILE
功能描述
此环境变量用于控制是否通过ranktable file进行集合通信域建链。
- 未配置时,通过默认的协商流程进行集合通信域建链。
- 配置且文件全路径有效时,通过ranktable file进行集合通信域建链。
此环境变量默认为未配置。
配置RANK_TABLE_FILE场景下,执行模型分布式训练时如果出现“RuntimeError: The Inner Error ...”的报错,建议将HCCL_CONNECT_TIMEOUT的超时时间适当增大,避免ranktable场景下无协商导致的建链超时问题,具体请参考《Ascend Extension for PyTorch 常见问题》的“在进行模型分布式训练时遇到报错“RuntimeError: The Inner Error ...””章节。
配置示例
启用ranktable file方式建链示例:
export RANK_TABLE_FILE=/home/ranktable.json
关闭ranktable file方式建链示例:
unset RANK_TABLE_FILE
使用约束
此环境变量仅适用于PyTorch网络,且使用分布式集合通信的场景。
支持的型号
Atlas 训练系列产品
Atlas A2 训练系列产品