PyTorch Analyse迁移分析工具

用户可使用PyTorch Analyse工具在迁移前分析PyTorch训练脚本的算子支持情况、三方库套件中三方库API和动态shape的支持情况。三种模式区别如下：

• 算子支持情况分析模式：用户提供待分析的PyTorch训练脚本，可快速获得该训练脚本中不支持的torch API和cuda API信息。
• 三方库套件分析模式：用户提供待分析的三方库套件源码，可快速获得源码中不支持的API和cuda信息。
• 动态shape分析模式：用户提供待分析的PyTorch训练脚本，可快速获得该训练脚本中包含的动态shape信息。

PyTorch Analyse工具当前支持1.8.1版本及以上的训练脚本的分析和迁移。

PyTorch Analyse工具使用步骤如下：

1. 须安装如下依赖。如下命令如果使用非root用户安装，需要在安装命令后加上--user，安装命令可在任意路径下执行。

   pip3 install pandas         #pandas版本号需大于或等于1.2.4
   pip3 install libcst         #Python语法树解析器，用于解析Python文件
   pip3 install prettytable    #将数据可视化为图表形式
   pip3 install jedi           #三方库套件、亲和API分析时必须安装

2. 进入分析工具所在路径。

   cd Ascend-cann-toolkit安装目录/ascend-toolkit/latest/tools/ms_fmk_transplt/

3. 执行分析任务。

   ./pytorch_analyse.sh -i 待分析脚本路径 -o 分析结果输出路径 -v 待分析脚本框架版本 [-m 分析模式]

   表1 参数说明

   参数	参数说明	取值示例
   -i --input	待分析脚本文件或三方库套件源码所在文件夹路径。 必选。	/home/xxx/analysis
   -o --output	分析结果文件输出路径。 会在该路径下生成xxxx_analysis文件夹。 必选。	/home/xxx/analysis_output
   -v --version	待分析脚本或三方库套件源码的PyTorch版本。目前支持1.8.1、1.11.0、2.0.1、2.1.0。 必选。	1.8.1 1.11.0 2.0.1 2.1.0
   -m --mode	分析的模式。目前支持torch_apis（算子支持情况分析）、third_party（三方库套件分析）、affinity_apis（亲和API分析）和dynamic_shape（动态shape分析）模式。 可选。	torch_apis（默认） third_party affinity_apis dynamic_shape
   -env --env-path	分析时需要增加的PYTHONPATH环境变量路径，仅安装jedi后该参数才生效。 可选。	/home/xxx/transformers/src /home/xxx/transformers/utils 多个文件路径使用空格隔开。
   -api --api-files	三方库不支持API的分析结果文件。 可选。	/home/xxx/mmcv_analysis/full_unsupported_results.csv /home/xxx/transformers_analysis/full_unsupported_results.csv 多个文件路径使用空格隔开。
   -h --help	显示帮助信息。	-

4. 分析完成后，进入脚本分析结果输出路径，查看不支持的算子信息列表、API信息列表和分析过程日志。
   • 分析模式为“torch_apis”时，分析结果如下所示：

     ├── xxxx_analysis     // 分析结果输出目录
     │   ├── cuda_op_list.csv             //cuda算子列表
     │   ├── unknown_api.csv              //支持情况存疑的API列表
     │   ├── unsupported_api.csv          //不支持的API列表
     │   ├── pytorch_analysis.txt         // 分析过程日志

   • 分析模式为“third_party”时，分析结果如下所示：

     ├── xxxx_analysis     // 分析结果输出目录
     │   ├── cuda_op.csv                  //cuda算子列表
     │   ├── framework_unsupported_op.csv //框架不支持的算子列表
     │   ├── full_unsupported_results.csv //全量不支持的算子列表
     │   ├── migration_needed_op.csv      //待迁移的算子列表
     │   ├── unknown_op.csv              //支持情况存疑的算子列表
     │   ├── pytorch_analysis.txt         // 分析过程日志

   • 分析模式为“affinity_apis”时，结果如下：

     ├── xxxx_analysis // 分析结果输出目录
     │   ├──  affinity_api_call.csv      // 可替换为亲和API的原生API调用列表
     │   ├──  pytorch_analysis.txt       // 分析过程日志

   • 分析模式为“dynamic_shape”时，结果如下：

     ├── xxxx_analysis     // 分析结果输出目录
     │   ├── 生成脚本文件                 // 与分析前的脚本文件目录结构一致
     │   ├── msft_dynamic_analysis
     │         ├── hook.py         //包含动态shape分析的功能参数
     │         ├── __init__.py

5. 若“-m/--mode”参数指定的分析模式为dynamic-shape，完成分析操作后，还需要先修改训练脚本文件中读取训练数据集的for循环，手动开启动态shape检测，请参考下方示例进行修改。
   • 修改前：

     for i, (ings, targets, paths, _) in pbar:

   • 修改如下加粗字体信息：

     for i, (ings, targets, paths, _) in DETECTOR.start(pbar):

   修改后在GPU上运行分析后的训练脚本，在分析时指定的输出目录下生成保存动态shape的分析报告msft_dynamic_shape_analysis_report.csv，分析报告包括函数名称、调用栈、输入输出的shape范围等内容。

更多内容可参见《分析迁移工具》中的“msFmkTransplt”章节。