dump文件目录结构
样例dump数据结果目录如下:
|── dump_path | └─ptdbg_dump_{version} | |── rank0 | | |── dump | | | |── Tensor_permute_1_forward.npy | | | ... | | | └── Function_linear_5_backward_output.npy | | └── dump.pkl | |── rank1 | | |── dump | | | └── ... | | └── dump.pkl | |── rank2 | | |── dump | | | └── ... | | └── dump.pkl | |── ... | | | └── rank7
- 在精度比对dump场景下,使用默认模式进行dump时,生成dump文件夹和dump.pkl文件。若指定具体dump模式后,生成{mode}_dump文件夹和{mode}_dump.pkl文件。例如若配置的dump模式为api_stack,此时生成api_stack_dump文件夹和api_stack_dump.pkl文件。dump结果包含以下两个部分:
- 文件夹dump,文件夹下为numpy格式的dump数据。numpy文件保存的前缀和PyTorch对应关系如下:
前缀
Torch模块
Tensor
torch.Tensor
Torch
torch
Functional
torch.nn.functional
NPU
NPU亲和算子
VF
torch._VF
- 文件dump.pkl 中包含dump数据的api名称、dtype、 shape、统计信息:max, min, mean。
- 文件夹dump,文件夹下为numpy格式的dump数据。numpy文件保存的前缀和PyTorch对应关系如下:
- 溢出检测dump场景下,若检测到API溢出,此时不需要配置set_dump_path,dump执行时会在当前目录自动生成ptdbg_dump_{version}目录,dump结果如下:
- Overflow_info_{timestamp}.pkl。
- Overflow_info_{timestamp}目录。
父主题: 精度比对工具说明