Atlas系列硬件: Atlas 200l DK A2 开发者套件; Atlas 200l DK 开发者套件（型号：3000）; 加速模块、加速卡、智能小站、服务器、集群

异构计算架构: CANN社区版; CANN商用版

AI框架: MindSpore; TensorFlow框架模型（社区版）; TensorFlow框架模型（商用版）; PyTorch框架适配

昇腾推理引擎: MindIE

应用使能MindX: MindX DL; MindX Edge; MindX SDK

全流程开发工具: MindStudio

简介

在线推理是在AI框架内执行推理的场景，例如在PyTorch框架上，加载模型后，通过model.eval()将模型切换为在线推理模式。相比于离线推理场景，使用在线推理可以方便将原来基于PyTorch框架做推理的应用快速迁移到昇腾AI处理器，适用于数据中心推理场景。

本文档仅支持在以下型号的昇腾AI处理器产品中使用：

Atlas 训练系列产品
Atlas A2 训练系列产品