下载
中文
注册

典型业务流程

本节给出构图的几种典型业务场景,并给出每种场景下的交互流程。

网络模型定义格式大同小异,主要由Tensor、Node(Operator)、Graph组合而成。其中:

  • Tensor包括Tensor描述及数据两部分,Tensor描述包括了该Tensor的name、dtype、shape、format信息。
  • Operator包括算子的name、type、输入、属性信息。
  • Graph包括网络的name、算子列表、输入算子、输出算子。

构图分为如下三种典型业务场景,用户可以根据实际情况选择需要进行的业务:

表1 编译并运行Graph场景

场景

功能说明

适用芯片

编译Graph为离线模型

把Graph编译并保存为om离线模型,编译生成的离线模型通过AscendCL接口加载并执行模型推理。

详细介绍请参见模型推理

ALL

编译并直接运行Graph

构建完Graph之后,直接编译并运行Graph使用AddGraph接口加载Graph对象:

  • 同步执行Graph:加载完后,使用RunGraph同步运行Graph,得到图的执行结果
  • 异步执行Graph:加载完后,使用RunGraphWithStreamAsync异步运行Graph,得到图的执行结果

Atlas 推理系列产品

Atlas 训练系列产品

Atlas A2训练系列产品/Atlas 800I A2推理产品

编译Graph为离线模型并运行Graph(大模型分布式编译切分场景)

大模型分布式编译切分场景使用。

首先编译出可用于分布式部署的om离线模型,然后使用LoadGraph接口加载模型,最后使用RunGraph运行加载了该模型的Graph,得到图的执行结果。

Atlas 推理系列产品

Atlas 训练系列产品

Atlas A2训练系列产品/Atlas 800I A2推理产品

编译Graph为离线模型

该场景把Graph编译并保存为om离线模型,具体流程如图1所示,详细业务介绍请参见编译Graph为离线模型

图1 模型构建流程

编译并直接运行Graph

完成构图及图编译运行的具体流程如图2所示。详细业务介绍请参见编译并运行Graph

图2 编译并直接运行流程图

编译Graph为离线模型并运行Graph(大模型分布式编译切分场景)

具体流程如图3所示。详细业务介绍请参见编译Graph为离线模型并运行Graph(大模型分布式编译切分)

图3 运行流程