TensorFlow在线推理场景下调优
Atlas A2训练系列产品/Atlas 800I A2推理产品场景下,不支持在线推理场景下调优。
TensorFlow在线推理场景支持子图调优和算子调优,TensorFlow在线推理场景下调优和TensorFlow训练场景下在线调优的过程基本相同,可参考TensorFlow训练场景下在线调优。
TensorFlow在线推理场景下调优和TensorFlow训练场景下在线调优的两个小区别如下:
- 通过设置环境变量进行调优时,在线推理场景执行的是在线推理脚本,TensorFlow训练场景执行的是训练脚本。
- 通过修改脚本进行调优时,在线推理场景仅支持sess.run模式,通过session配置项aoe_mode和work_path使能AOE调优。仅支持TensorFlow 1.15和TensorFlow 2.6.5。
父主题: 在线推理场景下调优