功能介绍
功能
该章节描述通过Profiling pyACL API采集并落盘性能数据,实现将采集到的Profiling数据写入文件,再使用Profiling工具解析该文件(请参见《性能分析工具使用指南》下的“数据解析与导出”),并展示性能分析数据。
- acl.prof.init接口、acl.prof.start接口、acl.prof.stop接口、acl.prof.finalize接口配合使用,实现该方式的性能数据采集。该方式可获取pyACL的接口性能数据、AI Core上算子的执行时间、AI Core性能指标数据等。目前这些接口为进程级控制,表示在进程内任意线程调用该接口,其它线程都会生效。
一个进程内,可以根据需求多次调用这些接口,基于不同的Profiling采集配置,采集数据。
- 调用acl.init接口,在pyACL初始化阶段,通过*.json 文件传入要采集的Profiling数据。该方式可获取pyACL的接口性能数据、AI Core上算子的执行时间、AI Core性能指标数据等。
一个进程内,只能调用一次acl.init接口,如果要修改Profiling采集配置,需修改*.json文件中的配置。详细使用说明请参见acl.init接口处的说明,不在本章节描述。
总体约束
不能与Profiling pyACL API for Subscription(订阅算子信息的Profiling pyACL API)的接口交叉调用:acl.prof.init接口和acl.prof.finalize接口之间不能调用acl.prof.model_subscribe接口、aclprofGet*接口、acl.prof.model_un_subscribe接口。
接口约束说明
- 调用接口要求:
- acl.prof.init接口必须在acl.init接口之后、模型加载之前调用。
如果已经通过acl.init接口配置了Profiling信息,则调用acl.prof.init接口、acl.prof.start接口、acl.prof.stop接口、acl.prof.finalize时,会返回报错。
如果没有调用acl.prof.init接口,调用acl.prof.start接口、acl.prof.stop接口、acl.prof.finalize时,会返回报错。
- acl.prof.start接口在模型执行之前调用,若在模型执行过程中调用acl.prof.start接口,Profling采集到的数据为调用acl.prof.start接口之后的数据,可能导致数据不完整。
调用acl.prof.start接口时,可以指定从一个Device上采集性能数据,也可以指定从多个Device上采集性能数据。
一个用户APP进程内,如果连续调用多次acl.prof.start接口,指定重复的Profiling配置,或指定的Device重复,会返回报错。
- 在用户APP的进程生命周期内,acl.prof.init接口与acl.prof.finalize接口配对使用,建议只调用一次,如该组合多次调用可以改变保存性能数据的文件的路径。
- acl.prof.start接口与acl.prof.stop接口需配对使用。
- Profiling msproftx采集功能相关接口须在acl.prof.start接口与acl.prof.stop接口之间调用。其中配对使用的接口有:acl.prof.create_stamp/acl.prof.destroy_stamp、acl.prof.push/acl.prof.pop、acl.prof.range_start/acl.prof.range_stop。
- acl.prof.init接口必须在acl.init接口之后、模型加载之前调用。
- 接口调用顺序:
- 建议的接口调用顺序如下,以“一个用户APP进程内采集多个模型推理时的性能数据”为例:
acl.init接口-->acl.prof.init接口-->acl.prof.start接口(指定Device 0和Device 1)-->模型1加载-->模型1执行-->acl.prof.stop接口(与acl.prof.start接口的aclprofConfig数据保持一致)-->acl.prof.start接口(指定Device 1和Device 2)-->模型2加载-->模型2执行-->acl.prof.stop接口(与acl.prof.start接口的aclprofConfig数据保持一致)-->acl.prof.finalize接口-->执行其它任务-->模型卸载-->acl.finalize接口
- 错误的接口调用顺序示例如下,以“一个用户APP进程内,如果连续调用多次acl.prof.start接口,指定的Device重复”为例:
acl.init接口-->acl.prof.init接口-->acl.prof.start接口(指定Device 0和Device 1)-->acl.prof.start接口(指定Device 1和Device 2)-->模型1加载-->模型1执行-->模型2加载-->模型2执行-->acl.prof.stop接口-->acl.prof.stop接口-->acl.prof.finalize-->执行其它任务-->模型卸载-->acl.finalize接口
- 建议的接口调用顺序如下,以“一个用户APP进程内采集多个模型推理时的性能数据”为例: