文档
注册

动态采集性能数据

使用说明

动态采集性能数据的主要功能是在执行性能数据采集的过程中可以随时启动和停止采集进程。

动态采集性能数据可以通过launch和attach两种方式执行:

  • launch方式:msprof命令行启动动态采集时,同步调起训练任务并进入性能数据采集交互模式,可以通过命令随时启动和停止采集。
  • attach方式:用户先自行启动训练任务,再启动msprof动态采集并进入性能数据采集交互模式,可以通过命令随时启动和停止采集。

集群场景下推荐使用attach方式进行动态采集性能数据,需逐一采集每个节点的性能数据。

前提条件

  • 使用该方式采集数据前请确保完成环境搭建
  • 动态采集性能数据前,需确保编译生成的应用工程或算子工程能在运行环境中正常运行。
  • attach方式下启动训练任务前需设置环境变量:
    export PROFILING_MODE=dynamic

约束说明

  • 在同一训练任务下,同一时间内仅允许一个用户进入交互模式。
  • 进入交互模式后未启动数据采集,30分钟后将自动退出,执行命令可重新进入交互模式。
  • 暂不支持Host侧及msproftx数据采集。
  • 昇腾910 AI处理器支持。

数据采集命令示例

以运行用户登录Ascend-cann-toolkit开发套件包所在环境,根据环境搭建配置环境变量后执行命令,以下两种方式任选其一。

  • launch方式:
    msprof --dynamic=on --application="/home/projects/MyApp/out/main" --output=/home/projects/output --model-execution=on --runtime-api=on --aicpu=on
    > start     
    Execution success, Started device Id: 0
    > stop
    Execution success.
    > quit
    Execution success.

    动态采集性能数据--application必选。

  • attach方式:
    msprof --dynamic=on --pid=<pid> --output=/home/projects/output --model-execution=on --runtime-api=on --aicpu=on
    > start
    Execution success, Started device Id: 0
    > stop
    Execution success.
    > quit
    Execution success.

动态采集性能数据功能命令行可以选择所需的采集项,在命令行上添加性能数据采集(msprof命令行方式)中的采集参数即可。

采集所生成的性能数据保存在--output参数指定目录下,数据结果与命令指定性能数据采集(msprof命令行方式)中的采集参数有关。

参数说明

表1 参数说明

参数

描述

可选/必选

--dynamic

控制动态采集性能数据的开关,可选on或off,默认值为off。

必选

--pid

指定一个需要采集的应用程序的pid。获取pid的方法可参考获取应用程序pid

attach方式必选

start

启动采集。

可选

stop

停止采集。每完成一次start和stop命令,在--output参数指定路径下生成一个存放数据文件的PROF_XXX目录。

可选

quit

停止采集并退出交互模式。训练任务正常运行,执行msprof命令可再次进入交互模式。

可选

获取应用程序pid

  • 单Device场景下:

    运行用户进入家目录执行以下命令查询应用程序的pid。

    ll ~/dynamic_profiling_socket_*

    查询后出现类似如下信息(运行用户以root为例),找到最近时间运行的pid,如下加粗字段“130065”即为应用程序的pid。

    srw-------. 1 root root 0 Feb  8 11:24 /root/dynamic_profiling_socket_112549
    srw-------. 1 root root 0 Feb  8 13:38 /root/dynamic_profiling_socket_128848
    srw-------. 1 root root 0 Feb  8 13:39 /root/dynamic_profiling_socket_130065
  • 多Device场景下:

    建议每个Device逐一执行训练,并按照单Device场景的方式获取pid;若多Device同时执行训练,则获取任意一个pid进行采集,当前暂不支持同时指定多pid进行采集。

数据解析

使用数据解析与导出对PROF_XXX目录进行性能数据解析和导出。

搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词