'%20fill='%23C31D20'%20fill-rule='nonzero'%3e%3cpath%20d='M7.55269822,13.7609409%20C10.8552199,9.97176134%2014.2271223,7.63452926%2017.1034483,6.5677512%20L17.0816429,0.884990191%20C17.0593112,0.508963963%2016.8188535,0.182653682%2016.4703158,0.055395956%20C16.1217781,-0.0718617705%2015.7322263,0.0244201241%2015.4799397,0.300178022%20L12.9584465,3.07097775%20L0.368821458,17.4916392%20C0.0232151224,17.8857306%20-0.0894678188,18.437454%200.0732192079,18.9389805%20C0.235906234,19.4405071%200.649247199,19.815643%201.15754056,19.9230783%20C1.66583392,20.0305135%202.19185783,19.853926%202.53746417,19.4598346%20L7.5467513,13.7690073%20L7.55269822,13.7609409%20Z'%20id='路径'%3e%3c/path%3e%3cpath%20d='M10.6896552,12.0927463%20L15.1004089,17.5535201%20C15.4511303,17.8402432%2015.9409156,17.8973222%2016.3502521,17.6991755%20C16.7595885,17.5010287%2017.0117165,17.0848129%2016.993637,16.6370685%20L17.1034483,10.0202479%20C14.5615201,9.75868982%2012.477139,10.7130773%2010.6896552,12.0927463%20Z'%20id='路径'%3e%3c/path%3e%3c/g%3e%3crect%20id='矩形'%20x='0'%20y='0'%20width='24'%20height='24'%3e%3c/rect%3e%3c/g%3e%3c/g%3e%3c/svg%3e)
故障模式参考
断点续训当前已支持节点故障、芯片故障、参数面网络故障和业务面故障。节点故障当前支持导致节点心跳丢失的故障；芯片故障当前支持《Atlas A2 中心推理和训练硬件 健康管理故障定义》和《Atlas A2 中心推理和训练硬件 黑匣子错误码信息列表》中的故障类型；参数面网络故障当前支持NPU-Leaf断链及长时间Link down导致的故障；业务面故障支持导致训练进程异常退出的故障。其中每一类故障中的典型故障如表1所示。
故障类型 |
故障模块 |
典型故障 |
业务影响 |
故障处理类型 |
|---|---|---|---|---|
节点故障 |
NPU板或主板电源 |
掉电 |
节点心跳丢失，业务中断 |
任务重调度 |
内存 |
UCE错误（多比特） |
节点心跳丢失，业务中断 |
任务重调度 |
|
芯片故障 |
片上内存多bit ECC错误 |
NPU正常（在线隔离） |
业务中断 |
任务重执行 |
片上内存多bit ECC隔离地址记录达到64个 |
NPU不健康 |
业务中断 |
任务重调度 |
|
PCIE异常 |
NPU不健康 |
业务中断 |
复位芯片 |
|
跨板心跳异常（NPU芯片致命错误） |
NPU挂死 |
业务中断 |
复位芯片 |
|
PCIE断链（lspci看不到设备） |
NPU掉卡 |
业务中断 |
复位芯片 |
|
tsdaemon心跳检测异常 |
NPU正常（软件自愈） |
业务中断 |
任务重执行 |
|
小核心跳异常 |
NPU不健康 |
业务中断 |
复位芯片 |
|
内存耗尽 |
NPU挂死 |
业务中断 |
复位芯片 |
|
参数面网络故障 |
NPU-Leaf断链不恢复 |
NPU网口故障、交换机端口故障、光模块故障、线缆故障 |
业务中断 |
任务重调度 |
NPU-Leaf长时间Linkdown导致重传超时，后续恢复linkup |
光模块故障、线缆故障 |
业务中断 |
任务重调度 |
|
业务面故障 |
软件故障 |
算子执行失败 |
业务中断 |
任务重调度 |
父主题： 附录
