算子调优

调优前须知

1. 请保证训练脚本在昇腾AI处理器上执行成功，功能和精度满足预期。
2. 不建议用户绑定训练进程到指定的CPU，请使用系统默认的CPU调度策略。否则，可能会影响调优效果。
3. 为提高调优效率，希望用户尽量控制训练步数。一般情况下，通过一个step能完成一次完整的图执行过程，保证图中所有的算子都能遍历一遍完成调优即可。
4. 目前仅支持静态算子，暂不支持动态算子。
5. 仅支持1P脚本进行dump图。
6. AOE不支持不同用户同时使用同一device进行调优。
7. 单个AOE进程时，请确保具备如下条件。多个AOE进程时，可参考如下条件自行扩展。
   • 调优用户的家目录下磁盘可用空间>=20G。
   • 可用内存>=32G。
   • 算子调优时Host CPU要求：建议>=TE_PARALLEL_COMPILER + TUNING_PARALLEL_NUM + 1 + min(CPU的核数/2, 8) + 58。其中TE_PARALLEL_COMPILER 和TUNING_PARALLEL_NUM 的说明请分别参考表1和表1。
   • Device核数>=模型中所有算子使用的最大核数。
   • Device内存：和模型相关，和模型的内存复用相关。
8. 调优前，请确保关闭Profiling功能，避免影响调优结果。关闭Profiling功能具体操作请参见《性能分析工具使用指南》。

dump算子图

方式一：通过《CANN AscendCL应用软件开发指南（C&C++）》中的aclGenGraphAndDumpForOp接口dump出来算子图。

方式二：在模型脚本中添加如下使能代码，将算子图dump到本地。

• PyTorch 1.5版本：

  #在模型脚本首行，确认PyTorch框架版本
  import torch
  if torch.__version__ >= "1.5":
      import torch_npu
  import torch.npu
  
  def train_model():
  
      # PyTorch 1.5版本参见如下设置使能AOE dump接口，dump_path为保存算子子图的路径，请自行设置
      torch.npu.set_aoe(dump_path)
  
      train_model_one_step() # 模型训练过程，一般仅需要跑一个step即可
  # dump_path表示设置保存dump出算子图的路径，必须要设置，不能为空；当设置的路径不存在时，会尝试创建，支持多级目录创建
  

• PyTorch 1.8及以上版本：

  #在模型脚本首行，确认PyTorch框架版本
  import torch
  if torch.__version__ >= "1.8":
      import torch_npu
  import torch.npu
  
  def train_model():
      # PyTorch 1.8及以上版本参见如下设置使能AOE dump接口，dump_path为保存算子子图的路径，请自行设置
      torch_npu.npu.set_aoe(dump_path)
  
      train_model_one_step() # 模型训练过程，一般仅需要跑一个step即可
  # dump_path表示设置保存dump出算子图的路径，必须要设置，不能为空；当设置的路径不存在时，会尝试创建，支持多级目录创建
  

以resnet50模型为实际样例，修改如下。

• PyTorch 1.5版本：

  #line 445~460
  model.train()
  optimizer.zero_grad()
  end = time.time()
  torch.npu.set_aoe(dump_path)#使能接口
  for i, (images, target) in enumerate(train_loader):
      # 图模式
      if args.graph_mode:
          print("args.graph_mode")
          torch.npu.enable_graph_mode()
  
      if i > 0:             #仅需要运行一个step
          exit()
      if i > 100:
          pass
      # measure data loading time
      data_time.update(time.time() - end)
  
      if args.gpu is not None:
          images = images.cuda(args.gpu, non_blocking=True)

• PyTorch 1.8及以上版本：

  #line 427~437
  model.train()
  optimizer.zero_grad()
  end = time.time()
  torch_npu.npu.set_aoe(dump_path) #使能接口
      # 图模式
      if args.graph_mode:
          print("args.graph_mode")
          torch.npu.enable_graph_mode()
  
      if i > 0:             #仅需要运行一个step
          exit()
      if i > 100:
          pass
      # measure data loading time
      data_time.update(time.time() - end)
  
      if args.gpu is not None:
          images = images.cuda(args.gpu, non_blocking=True)

参考链接：https://gitee.com/ascend/ModelZoo-PyTorch/blob/master/PyTorch/built-in/cv/classification/ResNet50_for_PyTorch/pytorch_resnet50_apex.py

配置环境变量

执行调优

将准备好的算子图使用AOE进行调优，调优示例如下。

aoe --job_type=2 --model_path=dump_path