MindIE-RT(Mind Inference Engine RT,昇腾推理引擎运行时)是针对昇腾AI处理器的推理加速引擎,提供AI模型推理场景下的商业化部署能力,能够将不同的深度学习框架(PyTorch、等)上完成训练的算法模型统一为计算图表示,具备多粒度模型优化、整图下发以及推理部署等功能。采用MindIE-RT推理引擎所完成模型推理加速流程如图1所示。MindIE-RT集成昇腾高性能算子加