特性说明

MindX DL管理的资源（如安装昇腾处理器并启用NodeD的节点）出现故障后，MindX DL将对故障资源（对应芯片/节点）进行隔离并对故障发生时正在运行的训练任务自动进行重调度、重训练（需进行脚本适配），该特性叫做断点续训。断点续训特性包含“故障恢复”基础功能和“临终遗言”高阶功能，“故障恢复”能够从周期性保存的checkpoint恢复训练，“临终遗言”支持保存故障时刻与周期性checkpoint之间的内存中的参数状态，从而缩短训练损失时间。

在重调度策略开启的情况下，Ascend Device Plugin的异常也会触发故障重调度。