新增特性

1

MindIE-Service

MindIE-Service针对通用模型的推理服务化场景，实现开放、可扩展的推理服务化平台架构，支持对接业界主流推理框架接口，满足大语言模型等多类型模型的高性能推理需求。MindIE-Server作为推理服务端，提供模型服务化能力；MindIE-Client提供服务客户端标准API，简化用户服务调用。

2

MindIE-Torch

MindIE-Torch是针对Pytorch框架模型的推理加速插件。Pytorch框架上训练的模型利用MindIE-Torch提供的简易C++/Python接口，少量代码即可完成模型迁移，实现高性能推理。MindIE-Torch向下调用了MindIE-RT组件能力。

3

MindIE-RT

• MindIE-RT是针对昇腾AI处理器的推理加速引擎，提供AI模型推理场景下的部署能力，能够将不同的深度学习框架（PyTorch、ONNX等）上完成训练的算法模型统一为计算图表示，具备多粒度模型优化、整图下发以及推理部署等功能。
• 支持大模型高性能算子，提供面向Transformer模型的加速库（Ascend Transformer Boost），提高Transformer模型性能。ATB提供了基础的高性能的算子，和一种高效的算子组合技术（Graph），方便模型加速。各类模型推理框架可以使用。