总体流程
模型训练完成后,用户可以通过PyTorch提供的接口保存模型文件(pth文件和pth.tar文件)用于在线推理;或将模型导出ONNX模型,然后通过ATC工具将其转换为适配昇腾AI处理器的.om文件用于离线推理。
在昇腾PyTorch1.11.0及以上的版本中,NPU模型在使用torch.save()进行存储的时候会保存NPU特有的设备信息和数据格式,以便于更好的支持断点训练,这带来了保存的pth、pt和pth.tar扩展名文件跨平台兼容性问题。在模型固化文件用于非NPU设备时需要存储成CPU格式,详情参见跨平台保存模型。
将ONNX模型转换为适配昇腾AI处理器的.om文件流程请参考《CANN ATC工具使用指南》。
离线推理应用构建请参考《CANN AscendCL应用软件开发指南 (C&C++)》。整体流程如下。
图1 模型保存应用流程图
父主题: 模型保存与导出