Profiling数据导出

示例如下:

  1. 切换至“msprof”文件所在目录,如:

    /home/HwHiAiUser/Ascend/ascend-toolkit/latest/tools/profiler/bin

    若完成了环境搭建章节中的环境变量配置,可无需切换目录直接执行msprof命令。

  2. 执行导出命令。

    命令示例如下:

    ./msprof --export=on --output=<dir> [--iteration-id=<number>] [--model-id=<number>] [--summary-format=<csv/json>]
    表1 参数说明

    参数

    说明

    可选/必选

    --export

    导出Profiling timeline和summary数据。可选on或off,默认值为off。

    默认导出迭代数最多的模型ID(Model ID)的timeline和summary数据。

    若需导出其他迭代/模型的数据,可在msprof命令执行完成后重新执行命令配置本参数和–model-id、–iteration-id参数。

    对于未解析的PROF_XXX文件,自动解析后再导出。

    示例:./msprof --export=on --output=/home/HwHiAiUser –model-id=2 –iteration-id=2

    必选

    --output

    Profiling数据文件目录。须指定为PROF_XXX目录、PROF_XXX目录下的host或device_{id}目录(生成具体设备数据)或PROF_XXX目录的父目录,例如:/home/HwHiAiUser/profiler_data/PROF_XXX/home/HwHiAiUser/profiler_data/PROF_XXX/device__{id}/home/HwHiAiUser/profiler_data

    必选

    --iteration-id

    某轮迭代的ID,默认值为1。

    可选

    --model-id

    模型ID。默认为迭代数最多的模型ID。

    可选

    --summary-format

    summary数据文件的导出格式,支持csv和json两种格式,默认值为csv。

    可选

    执行完上述命令后,会在collection-dir目录下的PROF_XXX目录的device_{id}或host目录下生成timeline和summary目录。

    生成的Profiling数据目录结构如图1所示。

    图1 Profiling数据目录结构(仅为示例)
    • 多Device场景下,若启动单Profiling采集进程,则仅生成一个PROF_XXX目录,若启动多Profiling采集进程则生成多个PROF_XXX目录,其中Device目录在PROF_XXX目录下生成,每个PROF_XXX目录下生成多少个Device目录与用户实际操作有关,不影响Profiling分析。
    • timeline和summary文件夹下分别保存timeline和summary数据文件,文件名格式为{name}_{device_id}_{model_id}_{iter_id}.json和{name}_{device_id}_{model_id}_{iter_id}.csv。其中{device_id}表示设备ID,{model_id}表示模型ID,{iter_id}表示某轮迭代的ID。详细数据介绍请参见Profiling数据说明
    • 单算子场景不支持--model-id参数,因此生成的文件名称格式为{name}_{device_id}_{iter_id}.json和{name}_{device_id}_{iter_id}.csv。
    • 仅执行采集昇腾AI处理器系统数据时,生成的文件名称格式为{name}_{device_id}_{iter_id}.json和{name}_{device_id}_{iter_id}.csv。
    • timeline和summary目录中的文件是根据采集的实际Profiling数据进行生成,如果实际的Profiling数据没有相关的数据文件,就不会导出对应的timeline和summary数据。
    • 生成的json文件可以通过以下方式打开查看:在Chrome浏览器中输入“chrome://tracing”地址,然后将json文件拖到空白处打开。下文中文件介绍均使用此种形式。关于chrome trace的格式,可参考chrome trace介绍
    • 生成的summary数据文件中某些字段值为“N/A”时,表示此时该值不存在。
    • 导出的数据中涉及到的时间节点(非Timestamp)为系统单调时间只与系统有关,非真实时间。