迁移总体思路

迁移分析

模型选取与约束说明

1. 调研业务需求场景，参考模型选取选取主流仓库模型。
2. 保证选取的模型在第三方平台（如GPU）可成功运行。
3. 明确迁移前模型运行的硬件型号、精度、性能基线。从权威网站或数据平台获取源模型的性能值基线，或在三方平台实测性能基线。

迁移支持度分析

1. 准备NPU环境，获取模型的源码、权重和数据集等文件。
2. 使用迁移分析工具采集目标网络中的模型/算子清单，识别第三方库及目标网络中算子支持情况，分析模型迁移的可行性。
3. 模型迁移需要符合模型选取与约束说明（必读）。
4. 算子开发与适配：在迁移支持度分析中如果存在平台未支持的算子，需进行算子替换或者开发适配。

模型迁移

模型脚本迁移

通过模型脚本迁移，实现GPU -> NPU的接口替换、NPU分布式框架改造。

环境变量和脚本配置

1. 参考训练前环境变量配置，配置训练相关环境变量，以保证模型训练可以在NPU上正常运行。
2. 参考模型脚本与启动脚本配置，根据实际场景选择相应操作完成模型脚本和启动脚本配置。

关键特性适配

• 数据类型为BF16或FP32的模型在训练过程中出现的收敛异常，可开启特征值检测，用于检测在训练过程中的梯度特征值是否存在异常，具体可参考特征值检测。
• 在训练时如需混合使用单精度（float32）与半精度（float16）数据类型，可参考（可选）混合精度适配。

模型调试

1. 训练过程中，如果遇到问题，可以通过模型调试定位问题发生的代码位置。
2. 常见问题发生场景包括环境配置、脚本配置、硬件配置与集群配置，可从以上场景角度排查问题。

模型保存与导出

参考模型保存与导出用于在线或离线推理。

• 保存模型文件用于在线推理。
• 使用模型文件导出ONNX模型，通过ATC工具将其转换为适配昇腾AI处理器的.om文件，用于离线推理。

精度调试

精度分析与调优

1. 训练过程中的模型精度问题分析，及时处理训练不稳定问题。
2. 分析并评估迁移前后模型在loss/ppl和模型下游评测的任务得分，评估迁移前后的精度差异。
3. 确保迁移前后模型精度差异在可接受范围之内，数据无异常溢出；如果出现精度相关问题，需要借助精度问题分析工具分析。

性能调优

性能数据采集与评测

1. 在NPU环境上，参考性能调优工具介绍章节对模型进行性能拆解。
2. 基于性能拆解得到的数据，分析瓶颈模块，模块分类参考性能概念，明确性能优化方向。

模型性能优化实施

依据性能瓶颈模块的类型，从性能调优方法寻求优化方法，具体方法包括数据加载优化、NPU亲和适配优化、内存优化、通信优化和调度优化。

此外，本章节还提供了通信优化的建议和可以使能的通信算法，以及调度优化方法。