下载
中文
注册

PYTORCH_NO_NPU_MEMORY_CACHING

功能描述

此环境变量用于控制是否关闭内存复用机制。

  • 未配置时,开启内存复用机制。
  • 配置为“1”时,关闭内存复用机制。

此环境变量默认为未配置。

关闭内存复用机制后,每次申请内存通过aclrtmalloc接口,生命周期结束后,立即通过aclrtfree接口释放回驱动。

  • 关闭内存复用机制,默认使用aclrtmalloc和aclrtfree接口,虚拟内存默认关闭。
  • 关闭内存复用机制,作为一种debug手段,配置后模型性能可能会下降,在内存申请、释放频繁的模型场景可能出现严重下降。
  • 若需使用torch_npu.npu.check_uce_in_memory,此环境变量必须为未配置状态,即开启内存复用机制。

配置示例

关闭内存复用机制示例:

export PYTORCH_NO_NPU_MEMORY_CACHING=1

重新启用内存复用机制示例:

unset PYTORCH_NO_NPU_MEMORY_CACHING

使用约束

此环境变量仅适用于PyTorch网络,且使用pytorch内存机制管理内存的场景。

支持的型号

Atlas 训练系列产品

Atlas A2 训练系列产品