概述

AscendIE（Ascend Inference Engine，昇腾推理引擎）是针对昇腾AI处理器的推理加速引擎，提供AI模型推理场景下的商业化部署能力，能够将不同的深度学习框架（PyTorch、ONNX等）上完成训练的算法模型统一为计算图表示，具备多粒度模型优化、整图下发以及推理部署等功能。采用AscendIE推理引擎所完成模型推理加速流程如图1所示。

AscendIE专注于为用户提供快速迁移、稳定精度以及极致性能的推理服务，让用户能够脱离底层硬件细节和不同平台框架的差异，专注于推理业务本身，实现高效的模型部署开发。目前AscendIE已实现动态输入推理，解析框架模型等功能特性，详见功能特性，AscendIE仍在不断完善中，未来将支持更多的主流推理引擎功能特性。