概述
在线推理是在AI框架内执行推理的场景,例如在TensorFlow框架上,加载模型后,通过session.run执行推理。相比于离线推理场景,使用在线推理可以方便将原来基于Tensorflow框架做推理的应用快速迁移到昇腾AI处理器,适用于数据中心推理场景。
读者对象
本文档适用于将训练好的TensorFlow网络模型加载到昇腾AI处理器进行在线推理的AI工程师。
掌握以下经验和技能可以更好地理解本文档:
- 熟练的Python语言编程能力
- 熟悉TensorFlow API
- 对机器学习、深度学习有一定的了解
支持的产品型号
Atlas 训练系列产品
Atlas 推理系列产品(Ascend 310P处理器)
Atlas A2 训练系列产品