下载
中文
注册

MULTI_STREAM_MEMORY_REUSE

功能描述

通过此环境变量可配置多流内存复用是否开启。集合通信多流场景,对Ascend Extension for PyTorch多流内存管理做优化,避免集合通信输入输出内存在多流场景下延迟释放,降低内存峰值。

0:关闭多流内存复用,与原生集合通信逻辑一致。

1:开启多流内存复用,有效降低集合通信跨流依赖内存延迟释放带来的内存峰值上升。

默认值为1。

配置示例

export MULTI_STREAM_MEMORY_REUSE=0

使用约束

支持的型号

  • Atlas 训练系列产品
  • Atlas A2 训练系列产品
  • Atlas A3 训练系列产品
  • Atlas 800I A2 推理产品