工具分析

单机优化分析方法，不在于限制设备数量到一台设备，而是注重解决非规模性训练的性能问题，其所使用的性能优化方法，是可以沿用到集群中的。不过对于集群场景，需要有更快速、更宏观的定位方法，若定位到具体的慢节点或慢链路时，解决方法还是回归到单机优化分析方法。

优化分析的核心思想是抓大放小，根据场景进行针对性优化。对于一般的单机场景，普遍有竞品作为标杆，因此，对于问题场景，可以通过性能分析识别出性能较差的组件。在比对分析时，会进行性能的自动拆解和比对，拆解和比对方法可参考性能比对工具（compare_tools），结果如图1所示。

查看图1，可以从最右列(Diff Ratio)找到问题组件，问题可能出现计算(Flash Attention、Conv、Matmul)、调度(Free Time)，或者出现在更为复杂的通信场景(Uncovered Communication Time)。同时，我们使用专家建议功能（advisor），提供性能调优建议，使用方法可参考advisor。当前专家建议不断总结性能调优经验，能迅速识别并解决大部分常见性能问题。