Profiling采集方式

Profiling针对开发者的差异化需求,提供了全场景下多种性能数据采集方案。Profiling各采集方式包括

msprof命令行方式(推荐)

msprof命令行工具不仅可以解析采集到的性能数据,且该方式提供了完整的性能数据采集能力(更多的数据类型)。

推荐使用msprof命令行工具完成性能分析全过程。

表1 msprof命令行方式

适配环境

应用场景

昇腾设备开发环境

离线推理/训练/在线推理

Atlas 200 AI加速模块(Ascend RC场景)

离线推理

AscendCL API方式

最灵活的Profiling数据采集方案,提供定制化的性能数据采集能力。

约束:仅支持离线推理场景且需要在应用程序中调用Profiling相关接口。

表2 AscendCL API方式

适配环境

应用场景

昇腾设备开发环境

离线推理

昇腾设备运行环境

离线推理

Atlas 200 AI加速模块(Ascend RC场景)

离线推理

Atlas 500智能小站

离线推理

pyACL API方式

AscendCL API的Python封装版本。

约束:仅支持离线推理场景且需要在应用程序中调用Profiling相关接口。

表3 pyACL API方式

适配环境

应用场景

昇腾设备开发环境

离线推理

昇腾设备运行环境

离线推理

Atlas 200 AI加速模块(Ascend RC场景)

离线推理

Atlas 500智能小站

离线推理

acl.json配置文件方式

配置文件方式,支持Profiling与其他组件的统一配置。

约束:仅支持离线推理场景且需要修改配置文件。

表4 acl.json配置文件方式

适配环境

应用场景

昇腾设备开发环境

离线推理

昇腾设备运行环境

离线推理

Atlas 200 AI加速模块(Ascend RC场景)

离线推理

Atlas 500智能小站

离线推理

Ascend Graph API方式

昇腾Graph开发时使用。

约束:仅支持训练和在线推理场景且需要在Ascend Graph编程中调用Profiling相关接口。

表5 Ascend Graph API方式

适配环境

应用场景

昇腾设备开发环境

训练/在线推理

昇腾设备运行环境

训练/在线推理

环境变量方式

通过设置特定的环境变量控制Profiling,Profiling配置可以迁移到不同的训练或在线推理的环境变量脚本中执行。

约束:仅支持训练和在线推理场景。

表6 环境变量方式

适配环境

应用场景

昇腾设备开发环境

训练/在线推理

昇腾设备运行环境

训练/在线推理

AI框架方式

基于AI框架编程时使用。

约束:仅支持训练和在线推理场景且需要在AI框架编程时调用Profiling相关代码。

表7 AI框架方式

适配环境

应用场景

昇腾设备开发环境

训练/在线推理

昇腾设备运行环境

训练/在线推理