Atlas系列硬件: Atlas 200l DK A2 开发者套件; Atlas 200l DK 开发者套件（型号：3000）; 加速模块、加速卡、智能小站、服务器、集群

异构计算架构: CANN社区版; CANN商用版

AI框架: MindSpore; TensorFlow框架适配（社区版）; TensorFlow框架适配（商用版）; PyTorch框架适配

分布式训练加速套件: MindSpeed

昇腾推理引擎: MindIE

应用使能MindX: MindX DL; MindX Edge; MindX SDK

全流程开发工具: MindStudio

评分

提单

论坛

小AI

HCCL_ASYNC_ERROR_HANDLING

功能描述

PyTorch训练或在线推理场景下，当使用HCCL作为通信后端时，可通过此环境变量控制是否开启异步错误处理。

0：不开启异步错误处理。
1：开启异步错误处理。

当PyTorch版本为1.11.0时，默认值为0；当PyTorch版本大于等于2.1.0时，默认值为1。

当前版本，开启异步处理时，若出现ERROR CQE错误，进程会终止；其他错误信息，仅打屏提示，不会终止进程。
当前版本该环境变量为试用环境变量，后续版本可能会存在变更。

配置示例

export HCCL_ASYNC_ERROR_HANDLING=1

使用约束

此环境变量仅适用于PyTorch网络，且使用HCCL作为通信后端的场景。
通过此环境变量开启异步错误处理时，为了更好地明确HCCL超时原因，建议init_process_group传参的timeout时间大于HCCL_CONNECT_TIMEOUT和HCCL_EXEC_TIMEOUT环境变量配置的时间。

支持的型号

Atlas 训练系列产品

Atlas A2 训练系列产品

父主题： Ascend Extension for PyTorch