单算子dump方法

采集dump数据

当前适配昇腾AI处理器的PyTorch通过torch_npu.npu中的init_dump()、set_dump()和finalize_dump()接口来进行算子dump数据的采集。首先init_dump()会进行初始化dump配置，然后通过set_dump()接口通过传入配置文件来配置dump参数，最后通过finalize_dump()来结束dump。以下以Add算子为例，介绍算子dump数据采集方法。

样例脚本如下：

import torch
import torch_npu
torch_npu.npu.set_device("npu:0")
torch_npu.npu.init_dump()
torch_npu.npu.set_dump("/home/HwHiAiUser/dump.json")   # "/home/HwHiAiUser/dump.json"为配置文件路径，用户自行配置
a = torch.tensor([2, 2]).to("npu:0")
a.add_(1)
torch_npu.npu.finalize_dump()

其中dump.json配置方法如下：

{
 "dump":
 {
         "dump_list":[],
         "dump_path":"/home/HwHiAiUser/dump/output",
         "dump_mode":"all",
         "dump_op_switch":"on"
 }
}

表1 参数说明
字段名	说明
dump_list	待dump数据的算子模型。为空，无需配置。
dump_path	dump数据文件存储到运行环境的目录，支持配置绝对路径或相对路径：绝对路径配置以“/”开头，例如：/home/HwHiAiUser/output。相对路径配置直接以目录名开始，例如：output。例如：dump_path配置为/home/HwHiAiUser/output，则dump数据文件存储到运行环境的/home/HwHiAiUser/output目录下。
dump_mode	dump数据模式，配置如下： output：dump算子的输出数据，默认取值output。 input：dump算子的输入数据。 all：dump算子的输入、输出数据。
dump_op_switch	单算子模型dump数据开关，配置如下： off：关闭单算子模型dump，默认取值off。 on：开启单算子模型dump。

查看溢出数据

采集的dump数据会在{dump_path}/{time}/{deviceid}/{model_id}/{data_index}目录下生成，例如“/home/HwHiAiUser/output/20200808163566/0/0”。

存放路径及文件命名规则：

dump_path：用户配置的溢出数据存放路径，例如/home/HwHiAiUser/output。
time：时间戳，例如20200808163566。
deviceid：device设备ID号。
model_id：子图ID。
dump文件：命名规则如{op_type}.{op_name}.{taskid}.{stream_id}.{timestamp}，如果op_type、op_name出现了“.”、“/”、“\”、空格时，会转换为下划线表示。

解析溢出算子的dump文件

进入解析脚本所在路径。

cd  ${CANN_INSTALL_PATH}/latest/toolkit/tools/operator_cmp/compare

执行msaccucmp.py脚本，转换dump文件为numpy文件。
```
python3 msaccucmp.py convert -d /home/HwHiAiUser/dump -out /home/HwHiAiUser/dumptonumpy -v 2
```
-d参数支持传入单个文件，对单个dump文件进行转换，也支持传入目录，对整个path下所有的dump文件进行转换。

调用Python，转换numpy文件为txt文件。

import numpy as np
a = np.load("/home/HwHiAiUser/dumptonumpy/Pooling.pool1.1147.1589195081588018.output.0.npy")
b = a.flatten()
np.savetxt("/home/HwHiAiUser/dumptonumpy/Pooling.pool1.1147.1589195081588018.output.0.txt", b)

父主题： 参考信息