下载
中文
注册

HCCL_DETERMINISTIC

功能描述

此环境变量用于配置是否开启归约类通信算子的确定性计算,其中归约类通信算子包括AllReduce、ReduceScatter、Reduce。开启确定性计算后,算子在相同的硬件和输入下,多次执行将产生相同的输出。

HCCL_DETERMINISTIC支持的取值如下:
  • true:开启归约类通信算子的确定性计算。
  • false:不开启确定性计算。

默认值为“false”。

一般情况下无需开启确定性计算,当模型多次执行结果不同或者精度调优时,可通过此环境变量开启确定性计算进行辅助调试调优,但开启确定性计算后,算子执行时间会变慢,导致性能下降。

配置示例

export HCCL_DETERMINISTIC=true

使用约束

支持的型号

Atlas A2 训练系列产品