PyTorch Analyse迁移分析工具

用户可使用PyTorch Analyse工具在迁移前分析PyTorch训练脚本的算子支持情况、三方库套件中三方库API和动态shape的支持情况。三种模式区别如下：

PyTorch Analyse工具当前支持PyTorch1.8.1和1.11.0版本的训练脚本的分析和迁移。

PyTorch Analyse工具使用步骤如下：

  1. 须安装如下依赖。如下命令如果使用非root用户安装，需要在安装命令后加上--user，安装命令可在任意路径下执行。

    pip3 install pandas         #pandas版本号需大于或等于1.2.4
pip3 install libcst         #Python语法树解析器，用于解析Python文件
pip3 install prettytable    #将数据可视化为图表形式
pip3 install jedi           #三方库套件分析时必须安装

  2. 进入分析工具所在路径。

    cd Ascend-cann-toolkit安装目录/ascend-toolkit/latest/tools/ms_fmk_transplt/

  3. 执行分析任务。

    ./pytorch_analyse.sh -i 待分析脚本路径 -o 分析结果输出路径 -v 待分析脚本框架版本 [-m 分析模式]
    表1 参数说明

    参数

    参数说明

    取值示例

    -i

    --input
    • 待分析脚本文件或三方库套件源码所在文件夹路径。
    • 必选。

    /home/xxx/analysis

    -o

    --output
    • 分析结果文件输出路径。
    • 会在该路径下生成xxxx_analysis文件夹。
    • 必选。

    /home/xxx/analysis_output

    -v

    --version
    • 待分析脚本或三方库套件源码的PyTorch版本。目前支持1.8.1和1.11.0。
    • 必选。
    • 1.8.1
    • 1.11.0

    -m

    --mode
    • 分析的模式。目前支持torch_apis（算子支持情况分析）、third_party（三方库套件分析）、affinity_apis（亲和API分析）和dynamic_shape（动态shape分析）模式。
    • 可选。
    • torch_apis（默认）
    • third_party
    • affinity_apis
    • dynamic_shape

    -env

    --env-path
    • 分析时需要增加的PYTHONPATH环境变量路径，仅安装jedi后该参数才生效。
    • 可选。

    /home/xxx/transformers/src /home/xxx/transformers/utils

    多个文件路径使用空格隔开。

    -api

    --api-files
    • 三方库不支持API的分析结果文件。
    • 可选。

    /home/xxx/mmcv_analysis/full_unsupported_results.csv /home/xxx/transformers_analysis/full_unsupported_results.csv

    多个文件路径使用空格隔开。

    -h

    --help

    显示帮助信息。

    -

  4. 分析完成后，进入脚本分析结果输出路径，查看不支持的算子信息列表、API信息列表和分析过程日志。

    • 分析模式为“torch_apis”时，分析结果如下所示：
      ├── xxxx_analysis     // 分析结果输出目录
│   ├── cuda_op_list.csv             //cuda算子列表
│   ├── unknown_api.csv              //支持情况存疑的API列表
│   ├── unsupported_api.csv          //不支持的API列表
│   ├── pytorch_analysis.txt         // 分析过程日志
    • 分析模式为“third_party”时，分析结果如下所示：
      ├── xxxx_analysis     // 分析结果输出目录
│   ├── cuda_op.csv                  //cuda算子列表
│   ├── framework_unsupported_op.csv //框架不支持的算子列表
│   ├── full_unsupported_results.csv //全量不支持的算子列表
│   ├── migration_needed_op.csv      //待迁移的算子列表
│   ├── unknown_op.csv              //支持情况存疑的算子列表
│   ├── pytorch_analysis.txt         // 分析过程日志
    • 分析模式为“affinity_apis”时，结果如下：
      ├── xxxx_analysis // 分析结果输出目录
│   ├──  affinity_api_call.csv      // 可替换为亲和API的原生API调用列表
│   ├──  pytorch_analysis.txt       // 分析过程日志
    • 分析模式为“dynamic_shape”时，结果如下：
      ├── xxxx_analysis     // 分析结果输出目录
│   ├── 生成脚本文件                 // 与分析前的脚本文件目录结构一致
│   ├── msft_dynamic_analysis
│         ├── hook.py         //包含动态shape分析的功能参数
│         ├── __init__.py

  5. 若“-m/--mode”参数指定的分析模式为dynamic-shape，完成分析操作后，还需要先修改训练脚本文件中读取训练数据集的for循环，手动开启动态shape检测，请参考下方示例进行修改。

    • 修改前：
      for i, (ings, targets, paths, _) in pbar:
    • 修改如下加粗字体信息：
      for i, (ings, targets, paths, _) in DETECTOR.start(pbar):

    修改后在GPU上运行分析后的训练脚本，在分析时指定的输出目录下生成保存动态shape的分析报告msft_dynamic_shape_analysis_report.csv，分析报告包括函数名称、调用栈、输入输出的shape范围等内容。

更多内容可参见《分析迁移工具》中的“msFmkTransplt”章节。

父主题： 参考信息