迁移总体思路
通用模型迁移适配方法,可以分为四个阶段:迁移分析、迁移适配、精度调试与性能调优,如图1所示。
本手册的内容章节是根据迁移阶段与其对应任务设计的,如表1所示。
迁移阶段 |
迁移任务 |
任务描述 |
---|---|---|
阶段1:迁移分析 |
模型选取与约束说明 |
|
迁移支持度分析 |
|
|
阶段2:迁移适配 |
模型脚本迁移 |
通过模型脚本迁移,实现GPU -> NPU的接口替换、NPU分布式框架改造。 |
环境变量和脚本配置 |
|
|
关键特性适配 |
|
|
模型调试 |
|
|
模型保存与导出 |
参考模型保存与导出,保存模型文件用于在线推理,使用模型文件导出ONNX模型通过ATC工具将其转换为适配昇腾AI处理器的.om文件用于离线推理。 |
|
阶段3:精度调试 |
精度分析与调优 |
|
阶段4:性能调优 |
性能数据采集与评测 |
|
模型性能优化实施 |
依据性能瓶颈模块的类型,从通用优化方法寻求优化方法,具体方法包括数据加载加速、模型代码亲和适配、内存优化、融合算子、融合优化器。 此外,本章节提供了通信优化的建议和可以使能的通信算法。 |