下载
中文
注册
什么是 MindIE__

昇腾推理引擎,基于昇腾硬件的运行加速、调试调优、快速迁移部署的高性能深度学习推理框架,分层开放满足各类需求,统一接口使能极简开发,沉淀能力构筑极致性能

业务系统

推理服务
MindIE Service(昇腾推理服务)第三方推理服务
推理模型套件
MindIE LLMMindIE SD
AI框架
昇思 MindSporePyTorch...
推理运行时
MindIE RT

推理服务

提供高性能推理服务部署与运维能力,包括提供模型服务化能力和服务客户端标准API,简化用户服务调用;以及提供服务策略管理、运维能力等。支持主流第三方框架。

了解开发场景及工具

服务化集成部署
提供推理服务化能力,包括MindIE Client、MindIE Server、第三方服务化框架兼容接口。
  • MindIE Client提供服务客户端标准API,简化用户服务调用
  • MindIE Server推理服务端,提供推理服务化协议和接口封装,兼容Triton/OpenAI/TGI/vLLM等第三方框架接口;会话管理、模型实例管理