PYTORCH_NO_NPU_MEMORY_CACHING
功能描述
此环境变量用于控制是否关闭内存复用机制。
- 未配置时,开启内存复用机制。
- 配置为“1”时,关闭内存复用机制。
此环境变量默认为未配置。
关闭内存复用机制后,每次申请内存通过aclrtmalloc接口,生命周期结束后,立即通过aclrtfree接口释放回驱动。
- 关闭内存复用机制,默认使用aclrtmalloc和aclrtfree接口,虚拟内存默认关闭。
- 关闭内存复用机制,作为一种debug手段,配置后模型性能可能会下降,在内存申请、释放频繁的模型场景可能出现严重下降。
- 若需使用torch_npu.npu.check_uce_in_memory,此环境变量必须为未配置状态,即开启内存复用机制。
配置示例
关闭内存复用机制示例:
export PYTORCH_NO_NPU_MEMORY_CACHING=1
重新启用内存复用机制示例:
unset PYTORCH_NO_NPU_MEMORY_CACHING
使用约束
此环境变量仅适用于PyTorch网络,且使用pytorch内存机制管理内存的场景。