在线推理场景下调优
Atlas A2训练系列产品场景下,不支持在线推理场景下调优。
在线推理场景支持子图调优和算子调优,在线推理场景下调优和TensorFlow训练场景下调优的过程基本相同,可参考TensorFlow训练场景下调优。
在线推理场景下调优和TensorFlow训练场景下调优的两个小区别如下:
- 通过设置环境变量进行调优时,在线推理场景执行的是在线推理脚本,TensorFlow训练场景执行的是训练脚本。
- 通过修改脚本进行调优时,在线推理场景仅支持sess.run模式,通过session配置项aoe_mode和work_path使能AOE调优。仅支持TensorFlow 1.15。
父主题: AOE工具