前言

在线推理是在AI框架内执行推理的场景，例如在PyTorch框架上，加载模型后，通过model.eval()将模型切换为在线推理模式。相比于离线推理场景，使用在线推理可以方便将原来基于PyTorch框架做推理的应用快速迁移到昇腾AI处理器，适用于数据中心推理场景。