算子网络测试(训练,PyTorch

简介

完成算子适配开发后,可通过运行适配昇腾处理器的PyTorch算子,验证算子运行结果是否正确。

算子功能验证会覆盖算子开发的所有交付件,包含实现文件、算子原型定义、算子信息库以及算子适配插件。本节仅对验证的方法做介绍。

测试用例及工具

进行自定义算子功能验证,通过PyTorch前端构造自定义算子的函数并运行验证。

测试用例及测试工具目录如下,供用户参考:

实现过程

  1. 设置环境变量。

    # 进行环境变量设置。(以root用户安装,安装路径为默认路径为例)
    source /usr/local/Ascend/ascend-toolkit/set_env.sh

  2. 在测试用例及测试工具目录下编写测试脚本,以add算子为例,文件名为 test_add.py。

    # 引入依赖库
    import torch
    import torch_npu
    import numpy as np
    
    from torch_npu.testing.testcase import TestCase, run_tests
    from torch_npu.testing.common_utils import create_common_tensor
    
    # 定义add测试用例类
    class TestAdd(TestCase):
    
        # 定义CPU和NPU add执行的函数
        def cpu_op_exec(self, input1, input2):
            output = torch.add(input1, input2, alpha = 1)
            output = output.numpy()
            return output
        def npu_op_exec_new(self, input1, input2):
            output = torch.add(input1, input2, alpha = 1)
            output = output.to("cpu")
            output = output.numpy()
            return output
    
        # 定义add对应场景通用函数,该函数负责输入数据并对比CPU和NPU的计算结果
        def add_result(self, shape_format):
            for item in shape_format:
                cpu_input1, npu_input1 = create_common_tensor(item, 0, 100)
                cpu_input2, npu_input2 = create_common_tensor(item, 0, 100)
                if cpu_input1.dtype == torch.float16:
                    cpu_input1 = cpu_input1.to(torch.float32)
                    cpu_input2 = cpu_input2.to(torch.float32)                
                cpu_output = self.cpu_op_exec(cpu_input1, cpu_input2)
                npu_output = self.npu_op_exec_new(npu_input1, npu_input2)
                cpu_output = cpu_output.astype(npu_output.dtype)            
                self.assertRtolEqual(cpu_output, npu_output)
    
        # 定义具体add场景的测试用例,用例函数需要以test_开头
        def test_add_shape_format_fp32_2d(self):
            format_list = [0, 3, 29]
            shape_format = [
                [np.float32, i, [5, 256]]  for i in format_list 
            ]
            self.add_result(shape_format)
    
    
    if __name__ == "__main__":
        run_tests()

  3. 执行测试用例脚本。

    python3 test_add.py