调优流程
Atlas A2训练系列产品场景下,不支持离线推理场景下调优。
通过AOE进行调优步骤如图1所示。调优步骤中具体操作请参考表1。
推荐先进行子图调优,再进行算子调优。原因是:先进行子图调优会生成图的切分方式,子图调优后算子已经被切分成最终的shape了,再进行算子调优,会基于这个最终shape去做算子调优。如果优先算子调优,这时调优的算子shape不是最终切分后的算子shape,不符合实际使用场景。
父主题: 离线推理场景下调优(其他推理设备)
Atlas A2训练系列产品场景下,不支持离线推理场景下调优。
通过AOE进行调优步骤如图1所示。调优步骤中具体操作请参考表1。
推荐先进行子图调优,再进行算子调优。原因是:先进行子图调优会生成图的切分方式,子图调优后算子已经被切分成最终的shape了,再进行算子调优,会基于这个最终shape去做算子调优。如果优先算子调优,这时调优的算子shape不是最终切分后的算子shape,不符合实际使用场景。
当前产品无相关内容
未找到相关内容,请尝试其他搜索词