采集Host侧数据

采集Host侧数据需要确认采集的进程，因此依赖AI任务运行时的采集即对所在应用程序的进程进行采集。

以运行用户登录Ascend-cann-toolkit开发套件包所在环境，根据环境搭建配置环境变量后执行命令，以下两种方式任选其一。

方式一：

msprof --application="/home/projects/MyApp/out/main" --output=/home/projects/output --host-sys=cpu

方式二：

msprof --application="/home/projects/MyApp/out/main" --output=/home/projects/output --host-sys-usage=cpu --host-sys-usage-freq=50

采集Host侧数据需要确认采集的进程，因此昇腾AI处理器系统采集需要指定采集的系统进程号。

以运行用户登录Ascend-cann-toolkit开发套件包所在环境，根据环境搭建配置环境变量后执行命令，以下两种方式任选其一。

方式一：

msprof --output=/home/projects/output --sys-devices=<ID> --sys-period=<period> --sys-hardware-mem=on --host-sys-pid=<pid> --host-sys=cpu

方式二：

msprof --output=/home/projects/output --sys-devices=<ID> --sys-period=<period> --sys-hardware-mem=on --host-sys-usage=cpu --host-sys-usage-freq=50

表1 参数说明
参数	描述	可选/必选
--host-sys	Host侧性能数据采集开关，取值包括cpu、mem、disk、network和osrt，可选其中的一项或多项，选多项时用英文逗号隔开。配置该项必须配置host-sys-pid参数或application参数。各项取值含义如下： cpu：进程级别的CPU利用率。 mem：进程级别的内存利用率。 disk：进程级别的磁盘I/O利用率。 osrt：进程级别的syscall和pthreadcall。 network：系统级别的网络I/O利用率。配置示例：--host-sys=cpu,mem,disk,network。	二者必选其一
--host-sys-usage	Host侧系统和所有进程的性能数据采集开关，取值包括cpu和mem，可选其中的一项或多项，选多项时用英文逗号隔开。配置该项时如果配置host-sys-pid参数，则采集Host侧指定进程的CPU或内存利用率。取值含义如下： cpu：系统和所有进程的CPU利用率。 mem：系统和所有进程的内存利用率。配置示例：--host-sys-usage=cpu,mem。	二者必选其一
--host-sys-pid	指定需要采集的Host侧应用程序的pid。依赖AI任务运行时该参数无需配置，且配置无效。	可选
--host-sys-usage-freq	CPU利用率、内存利用率的采集频率，范围[1,50]，默认值50，单位hz。	可选

采集Host侧disk性能数据需要安装第三方开源工具iotop，采集osrt性能数据需要安装第三方开源工具perf和ltrace，其安装方法参见安装perf、iotop、ltrace工具。完成安装后须参见配置用户权限完成用户权限配置，且每次重新安装CANN软件包需要重新配置。
使用开源工具ltrace采集osrt性能数据会导致CPU占用率过高，其与应用工程的pthread加解锁相关，会影响进程运行速度。
x86_64架构的KylinV10SP1操作系统支持--host-sys=osrt参数， aarch64架构的KylinV10SP1操作系统下不支持--host-sys=osrt参数。
虚拟化环境Euler2.9系统下不支持--host-sys=network参数。
--host-sys-usage参数当前仅支持x86_64架构的Ubuntu操作系统和aarch64架构的Euler操作系统。

配置采集性能数据参数后生成的Profiling数据如表2和表3所示。

表2 采集内容（timeline）
timeline文件名	相关参数	说明
msprof*.json	所有可生成数据的参数均会在此文件写入数据。	timeline数据总表。对采集到的timeline性能数据按照迭代粒度进行性能展示。详情请参见timeline数据总表。
host_cpu_usage.json	--host-sys=cpu	Host侧CPU利用率。详情请参见Host侧CPU利用率数据。
host_mem_usage.json	--host-sys=mem	Host侧内存利用率。详情请参见Host侧内存利用率数据。
host_disk_usage.json	--host-sys=disk	Host侧磁盘I/O利用率。详情请参见Host侧磁盘I/O利用率数据。
host_network_usage.json	--host-sys=network	Host侧网络I/O利用率。详情请参见Host侧网络I/O利用率数据。
os_runtime_api.json	--host-sys=osrt	Host侧syscall和pthreadcall数据。详情请参见Host侧syscall和pthreadcall数据。

表3 采集内容（summary）
summary文件名	相关参数	说明
os_runtime_statistic.csv	--host-sys=osrt	Host侧syscall和pthreadcall数据。详情请参见Host侧syscall和pthreadcall数据。
host_cpu_usage.csv	--host-sys=cpu	Host侧CPU利用率。详情请参见Host侧CPU利用率数据。
host_mem_usage.csv	--host-sys=mem	Host侧内存利用率。详情请参见Host侧内存利用率数据。
host_disk_usage.csv	--host-sys=disk	Host侧磁盘I/O利用率。详情请参见Host侧磁盘I/O利用率数据。
host_network_usage.csv	--host-sys=network	Host侧网络I/O利用率。详情请参见Host侧网络I/O利用率数据。
cpu_usage.csv	--host-sys-usage=cpu	Host侧系统CPU利用率数据。文件详情请参见Host侧系统CPU利用率数据。
sys_mem.csv	--host-sys-usage=mem	Host侧系统内存利用率数据。详情请参见Host侧系统内存利用率数据。
process_cpu_usage.csv	--host-sys-usage=cpu	Host侧所有进程CPU利用率数据。生成文件详情请参见Host侧进程CPU利用率数据。
process_mem.csv	--host-sys-usage=mem	Host侧所有进程内存利用率数据。文件详情请参见Host侧进程内存利用率数据。

父主题： 性能数据采集（msprof命令行方式）