故障诊断
- 创建诊断结果输出目录。
mkdir 诊断结果输出目录
- 执行命令开始进行诊断。
ascend-fd diag -i 诊断输入目录 -o 诊断结果输出目录
训练任务异常退出问题回显示例如下：
The diag job starts. Please wait. +----------------------------------------------------------------------------------------------------------------------------+ | Ascend Fault-Diag Report | +--------------+------------+------------------------------------------------------------------------------------------------+ | 版本信息 | {version} | | +--------------+------------+------------------------------------------------------------------------------------------------+ | 根因节点分析 | 类型 | 描述 | +--------------+------------+------------------------------------------------------------------------------------------------+ | | 说明 | 根因节点分析检测出了多个的疑似故障根因节点，将优先排查这几个节点 | +--------------+------------+------------------------------------------------------------------------------------------------+ | | 根因节点 | ['worker-0 device-0', 'worker-1 device-0'] | | | 现象描述 | 部分节点发生RoCE重传超次(ERROR CQE)，此类节点为疑似根因节点，请排查。 | | | 根因节点链 | ['worker-1 device-0 -> worker-1 device-0', 'worker-0 device-0 -> worker-0 device-0'] | | | 首错节点 | worker-0 device-0: 2023-08-02-03:22:44.809744 | | | 尾错节点 | worker-1 device-6: 2023-08-02-11:22:39.752586 | +--------------+------------+------------------------------------------------------------------------------------------------+ | 根因设备分析 | 类型 | 描述 | +--------------+------------+------------------------------------------------------------------------------------------------+ | | 故障码 | 20017 | | | 根因设备 | ['worker-0', 'worker-1'] | | | 故障分类 | 类别:Network 组件:Network 模块:Network | | | 故障名称 | 网络错包增加 | | | 故障描述 | TX网络错包增加; | | | 建议方案 | 1. 出现TX网络错包增加现象, 相关影响指标为roce_tx_err_pkt_num, 请联系物理网络运维同事; | +--------------+------------+------------------------------------------------------------------------------------------------+ | | 故障码 | 20016 | | | 根因设备 | ['worker-0', 'worker-1'] | | | 故障分类 | 类别:Network 组件:Network 模块:Network | | | 故障名称 | 网络错包增加 | | | 故障描述 | RX网络错包增加; | | | 建议方案 | 1. 出现RX网络错包增加现象, 相关影响指标为roce_rx_err_pkt_num, 请联系物理网络运维同事; | +--------------+------------+------------------------------------------------------------------------------------------------+ | | 故障码 | 20015 | | | 根因设备 | ['worker-1'] | | | 故障分类 | 类别:Network 组件:Network 模块:Network | | | 故障名称 | Link Down: NPU端闪断错误 | | | 故障描述 | Link Down: NPU端闪断错误; | | | 建议方案 | 1. 请联系物理网络运维同事, 收集交换机日志信息; | | | | 2. 排查交换机链路闪断问题; | +--------------+------------+------------------------------------------------------------------------------------------------+ The diag job is complete.训练过程中性能劣化问题回显：
The diag job starts. Please wait. +---------------------------------------------------------------------------------------------------------------------------------------------+ | Ascend Fault-Diag Report | +--------------+------------+-----------------------------------------------------------------------------------------------------------------+ | 版本信息 | {version} | | +--------------+------------+-----------------------------------------------------------------------------------------------------------------+ | 根因节点分析 | 类型 | 描述 | +--------------+------------+-----------------------------------------------------------------------------------------------------------------+ | | 说明 | 未诊断出根因节点，根因设备分析将尝试检测全部设备 | +--------------+------------+-----------------------------------------------------------------------------------------------------------------+ | | 根因节点 | ['Unknown Device'] | | | 现象描述 | 所有节点Plog都没有错误日志信息, 且所有节点Plog都没有心跳信息。无法定位根因节点。同时请确认是否为正常的训练任务？| +--------------+------------+-----------------------------------------------------------------------------------------------------------------+ | 根因设备分析 | 类型 | 描述 | +--------------+------------+-----------------------------------------------------------------------------------------------------------------+ | | 状态码 | 20000 | | | 结果描述 | 故障根因设备诊断无异常,可能情况为: a.无相关故障发生; b.存在未知故障; | +--------------+------------+-----------------------------------------------------------------------------------------------------------------+ | 设备资源分析 | 类型 | 描述 | +--------------+------------+-----------------------------------------------------------------------------------------------------------------+ | | 说明 | 本分析模块下部分分析子项执行失败，诊断结果可能会受到影响从而不准确。请查看模块日志内的详细信息 | +--------------+------------+-----------------------------------------------------------------------------------------------------------------+ | | 故障码 | 30000 | | | 故障名称 | 设备资源诊断无异常 | | | 故障描述 | 未发生NPU过载降频和资源抢占; | | | 建议方案 | 无; | +--------------+------------+-----------------------------------------------------------------------------------------------------------------+ | 网络拥塞分析 | 类型 | 描述 | +--------------+------------+-----------------------------------------------------------------------------------------------------------------+ | | 故障码 | 31001 | | | 故障设备 | worker-0 | | | 故障节点 | ['device-0', 'device-1'] | | | 故障名称 | 链路拥塞异常 | | | 故障描述 | 部分通信链路发生冲突拥塞; | | | 建议方案 | 1. 建议检查交换机路由策略; | +--------------+------------+-----------------------------------------------------------------------------------------------------------------+ The diag job is complete.完成诊断后，用户可根据诊断结果中的建议方案进行优化。
诊断结果输出目录 ├── fault_diag_result ├── diag_report.json └── ascend_faultdiag_run.log # 组件诊断日志
父主题： 使用指导
