升级PyTorch框架至3.0.0版本后类transformer类模型的性能下降

问题现象

使用3.0.0版本的PyTorch框架训练时,类transformer类模型出现性能下降问题。

处理方法

修改模型训练脚本,在import torch_npu后添加以下代码。torch_npu.npu.set_option(option)的详细使用,请参见设置算子编译选项

def main(config):
    option = {}
    option["MM_BMM_ND_ENABLE"] = "disable"
    torch.npu.set_option(option)