Profiling数据文件信息查询

本功能用于查询Profiling数据文件信息,确认导出时指定某轮迭代的ID和Model ID。

请参见如下步骤查询Profiling数据信息。

  1. 以Ascend-cann-toolkit开发套件包的运行用户登录开发环境。
  2. 切换至msprof.py脚本所在目录,如/home/HwHiAiUser/Ascend/ascend-toolkit/latest/tools/profiler/profiler_tool/analysis/msprof。
  3. 查询Profiling数据信息,命令行格式如下。参数说明参见表1

    python3 msprof.py query [-h] -dir <dir> 

    例如:python3 msprof.py query -dir /home/HwHiAiUser/profiler_data/PROF_XXX

    表1 查询Profiling数据信息命令参数说明

    参数名

    描述

    可选/必选

    -dir, --collection-dir

    收集到的Profiling数据目录。须指定为PROF_XXX目录或PROF_XXX目录下的host或device_{id}目录(查询具体设备数据),例如:/home/HwHiAiUser/profiler_data/PROF_XXX/home/HwHiAiUser/profiler_data/PROF_XXX/device_{id}

    必选

    --data-type

    数据类型。用于MindStudio对接,用户无需配置。取值为:

    • 0:集群场景,可查询当前数据是否为集群场景采集的数据。
    • 1:迭代轨迹数据,每轮迭代的详细数据,包括FP/BP计算时间、迭代更新拖尾和迭代间隙。
    • 2:计算量,AI Core上的浮点运算数。
    • 3:数据准备,训练数据发送至Device以及Device侧读取训练数据。
    • 4:并行度,通信耗时占比。
    • 5:集合通信,主要提供HCCL数据。

    可选

    --id

    集群场景时指定集群节点的Rank ID,非集群场景指定设备ID。

    用于MindStudio对接,用户无需配置。

    可选

    --model-id

    模型ID。

    用于MindStudio对接,用户无需配置。

    可选

    --iteration-id

    某轮迭代的ID,默认值为1。

    用于MindStudio对接,用户无需配置。

    可选

    -h,--help

    显示帮助信息,仅在获取使用方式时使用。

    可选

  4. 执行上述命令会打屏显示结果。

    调用query接口前需要调用import/monitor命令解析Profiling数据,否则查询结果无意义。

    msprof工具的查询功能获取到的信息如表2所示。

    表2 Profiling数据文件信息

    字段

    含义

    Job Info

    任务名。

    Device ID

    设备ID。

    Dir Name

    文件夹名称。

    Collection Time

    数据采集时间。

    Model ID

    模型ID。

    Iteration Number

    总迭代数。

    Top Time Iteration

    耗时最长的5个迭代。

    Rank ID

    集群场景的节点识别ID。仅解析集群场景的数据文件时展示,非集群场景显示N/A。