简介 MindIE(Mind Inference Engine,昇腾推理引擎)是华为昇腾针对AI全场景业务的推理加速套件。通过分层开放AI能力,支撑用户多样化的AI业务需求,使能百模千态,释放昇腾硬件设备算力。向上支持多种主流AI框架,向下对接不同类型昇腾AI处理器,提供多层次编程接口,帮助用户快速构建基于昇腾平台的推理业务。 通过本文档,您可以完成: 了解MindIE架构及MindIE提供的推理场景解决方案。 将大模型迁移优化至昇腾设备,获取推理加速等能力。 将迁移完成的大模型对接到MindIE-Service推理服务化平台。 图1 昇腾推理引擎架构图