下载
中文
注册

DataFlow构图

除了Ascend Graph构图方式外,GE还提供了适用于异构计算场景的DataFlow图接口,可达成如下目标:

  • 让编程开发者聚集算法实现,屏蔽异构硬件和组网的差异,降低异构硬件编码门槛,提高开发效率。
  • 支持组合多个模型端到端地表达AI应用,应用开发表达与物理部署解耦,帮助业务实现一套DataFlow代码支持部署在不同组网(单机多卡或多机多卡),且支持不同的硬件。
  • 冗余部署提升可靠性。将处理函数在多节点冗余部署,在运行时感知异常状态,通过动态调度决策避免异常进程的执行,实现业务快速恢复。
  • 传输时延优化:通过使能Device数据面通信,提升集合通信效率,从而降低业务处理时延。
  • 充分发挥算力,提升性能:
    • 通过UDF下沉使能Device侧AI CPU算力,减少数据拷贝、数据切分的开销,并降低Host侧CPU的负载。
    • 通过DataFlow框架的数据流自动并行,减少模块间数据依赖,充分发挥业务的并行潜能。
    • 通过DataFlow的灵活部署,简单高效调整各模块的部署位置和数量,降低时延,提升吞吐率。

当前版本DataFlow构图特性仅支持Atlas A2训练系列产品/Atlas 800I A2推理产品

关于DataFlow的详细构图流程可参见DataFlow开发指南(Python)