性能分析工具介绍
性能分析工具是一套基于CANN的分析工具,其目的在于分析NPU在运行中模型的训练效率,在训练有瓶颈或者有性能优化需求的时候,可以利用性能分析工具进行性能分析。
工具主要包括Ascend PyTorch Profiler、性能比对工具、集群分析工具和MindStudio Insight。其中Ascend PyTorch Profiler是基于CANN实现,用于分析CANN上硬件的运行效率和性能数据;性能比对工具和集群分析工具取自开源社区,对Ascend PyTorch Profiler采集得到的数据进行专项分析;MindStudio Insight是一款调优可视化工具,集成了CANN数据的分析和可视化等功能。
Ascend PyTorch Profiler
参见《CANN 性能分析工具指南》中的“使用PyTorch框架接口采集”章节,Ascend PyTorch Profiler接口可全面采集PyTorch训练场景下的性能数据,主要包括PyTorch层算子信息、CANN层算子信息、底层NPU算子信息以及算子内存占用信息等,可以全方位分析PyTorch训练时的性能状态。
性能比对工具
性能比对工具(compare_tools)用于比较模型在同平台或不同平台的性能差异,目前支持的比较GPU与NPU之间、NPU与NPU之间的性能差异,通过对训练耗时和内存占用的比对分析,定位到具体劣化的算子,帮助用户提升性能调优的效率。工具将训练耗时拆分为计算、通信、调度三大维度,并针对计算和通信分别进行算子级别的比对;将训练占用的总内存,拆分成算子级别的内存占用进行比对。
父主题: 性能概述