集群训练场景性能分析

场景介绍

一个集群是由多个节点组成，每个节点都有单独的系统，通过管理界面统一管理。在集群场景执行采集每个节点的性能数据，每个节点均生成一个PROF_XXX目录并进行预解析，将各个节点的PROF_XXX目录汇总到OBS。用户需要手动将OBS汇总的所有PORF_XXX目录拷贝到可以展示和分析集群数据的环境下进行展示和分析。

当前支持集群数据展示和分析的工具包括：Ascend Insight（推荐）、Tensorboard、MindStudio。

性能数据采集流程

性能数据采集总体流程如下图所示。

图1 性能数据采集流程

环境搭建

• 集群场景请用户自行搭建。
• 根据需要在对应的节点上安装合适的CANN软件包，请参见《CANN软件安装指南》。
• 安装MindStudio工具，请参见《MindStudio 安装指南》。

约束

集群场景执行性能数据采集最大支持采集128个节点（如果每个节点配置8个Device，即最大支持1024个Device）的性能数据。

性能数据采集

完成环境搭建后，集群场景可参考以下方式进行性能数据采集。

• 使用使用MindSpore框架接口采集进行性能数据采集。
• 使用Ascend PyTorch Profiler接口采集PyTorch性能数据。
  1. 参见《PyTorch模型迁移和训练指南》中的“模型迁移与训练 >模型迁移”搭建分布式训练环境，准备迁移后的分布式训练脚本。
  2. 参见PyTorch训练/在线推理场景性能分析修改训练脚本，并拉起分布式训练进行数据采集。

数据展示

集群场景的性能数据需要通过MindStudio IDE工具进行界面化展示。

1. 将采集生成所有节点的PROF_XXX目录全部拷贝至MindStudio工具所在的服务器。
2. MindStudio IDE导入集群场景性能数据方式请参见《MindStudio 用户指南》中的“性能分析 > Import Result”章节。
3. MindStudio IDE展示集群场景性能数据请参见《MindStudio 用户指南》中的 “性能分析 > 性能数据展示 > Analysis Summary和集群场景数据”章节。