简介

概述

MindIE-Torch是推理引擎组件中针对Pytorch框架模型的推理加速插件。Pytorch框架上训练的模型利用MindIE-Torch提供的简易C++/Python接口，少量代码即可完成模型迁移，实现高性能推理。

支持的特性

• TorchScript模型

  MindIE-Torch支持以下功能特性：

  • 支持TorchScript模型的编译优化，生成可直接在昇腾NPU设备加速推理的TorchScript模型。
  • 支持静态输入和动态输入，动态输入分为动态Dims和ShapeRange两种模式。
  • 编译优化时支持混合精度、FP32以及FP16精度策略。
  • 支持用户自定义converter和自定义pass。
  • 支持异步推理和异步数据拷贝。
  • 支持与torch_npu配套使用，算子可fallback到torch_npu执行。
  • 支持多语言API（C++、Python）。
• ExportedProgram
  MindIE-Torch支持以下功能特性：

  • 支持ExportedProgram的编译优化，生成可直接在昇腾NPU设备加速推理的nn.Module模型。
  • 支持静态输入和动态ShapeRange输入。
  • 编译优化时支持混合精度、FP32、FP16精度策略。
  • 支持异步推理和异步数据拷贝。
  • 支持Python API。