MULTI_STREAM_MEMORY_REUSE
功能描述
通过此环境变量可配置多流内存复用是否开启。集合通信多流场景,对Ascend Extension for PyTorch多流内存管理做优化,避免集合通信输入输出内存在多流场景下延迟释放,降低内存峰值。
0:关闭多流内存复用,与原生集合通信逻辑一致。
1:开启多流内存复用,有效降低集合通信跨流依赖内存延迟释放带来的内存峰值上升。
默认值为1。
配置示例
export MULTI_STREAM_MEMORY_REUSE=0
使用约束
无
支持的型号
Atlas 训练系列产品 Atlas A2 训练系列产品 Atlas A3 训练系列产品 Atlas 800I A2 推理产品
父主题: 内存管理