概述

简介

在线推理是在AI框架内执行推理的场景，例如在Tensorflow框架上，加载模型后，通过tf.compat.v1 session.run执行推理。相比于离线推理场景，使用在线推理可以方便将原来基于Tensorflow 2.6.5框架做推理的应用快速迁移到昇腾AI处理器，适用于数据中心推理场景。

读者对象

本文档适用于将训练好的TensorFlow网络模型加载到昇腾AI处理器进行在线推理的AI工程师。

支持的芯片型号

Atlas 训练系列产品

Atlas A2训练系列产品