查看日志(Ascend EP标准形态)
查看应用类日志
应用类日志用于记录运行应用程序产生的日志,例如AscendCL应用程序运行完成后,默认可在“$HOME/ascend/log”下查看应用类日志,如图1所示,详细说明请参见表1。
- 应用类日志支持在容器内或物理机内查看。为保证日志工具在容器内正常运行,需要将日志工具动态库文件libascendalog.so及其依赖的libc_sec.so所在路径映射到容器内。所在路径分别为“CANN软件安装目录/ascend-toolkit/latest/compiler/lib64/libascendalog.so”和“CANN软件安装目录/ascend-toolkit/driver/lib64/common/libc_sec.so”。
- Device侧应用类日志会自动回传到Host侧,若回传失败,则会在Device侧直接落盘;若回传成功,则不会在Device侧落盘。
其他相关配置:
- 修改应用类日志落盘路径:可以使用环境变量ASCEND_PROCESS_LOG_PATH指定日志落盘路径;若开发者期望编译运行过程中产生的文件落盘到归一路径,可通过ASCEND_WORK_PATH设置单机独享文件的存储路径。。
- 设置Device侧应用类日志回传延时:Ascend EP标准形态下,Device侧的slogd进程会将Device侧应用类日志自动回传到Host侧,使用户在Host侧可以直接查看Device侧的应用类日志。在业务进程退出前,系统有2000ms的默认延时将Device侧应用类日志回传到Host侧,超时后业务进程退出。未回传到Host侧的日志直接在Device侧落盘。可以通过环境变量ASCEND_LOG_DEVICE_FLUSH_TIMEOUT设置更高的Device侧应用类日志回传到Host侧的延时时间。
- 设置应用类日志目录(plog和device-id)下存储每个进程日志文件的数量:plog和device-id日志目录下能够存储的单个进程回传的日志文件数量,默认为10个,该数量可以通过环境变量ASCEND_HOST_LOG_FILE_NUM进行设置。
查看系统类日志
系统类日志用于记录系统运行信息,Ascend EP标准形态下,用户没有Device的登录权限,因此需要通过msnpureport工具将Device侧的系统日志传输到Host侧进行查看,具体请参考msnpureport工具使用。
- 容器内不支持查看Device侧系统类日志,也不支持通过msnpureport工具导出Device侧系统类日志。
- Device侧应用类日志支持老化,默认每个类型日志(debug、run、security)分别支持存储24个device-app-pid目录,系统每隔15秒对该目录进行一次扫描,如果日志超过配置的存储限制,将会自动删除最早的device-app-pid目录。(Atlas A2训练系列产品/Atlas 800I A2推理产品支持存储8个device-app-pid目录)
- 最多支持24个应用进程并发处理,如果超过该数值,可能会导致日志丢失。(Atlas A2训练系列产品/Atlas 800I A2推理产品支持8个应用进程并发处理)