下载
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助
昇腾小AI

接口列表

使用DataFlow python接口构造DataFlow图进行推理。支持定义图处理点,UDF处理点,描述处理点之间的数据流关系;支持导入TensorFlow, ONNX, MindSpore的IR文件作为图处理点计算逻辑定义。

DataFlow构图接口

表1 DataFlow构图接口

接口名称

简介

dataflow.FlowData

Dataflow Graph中的数据节点,每个FlowData对应一个输入。

FlowNode

Dataflow Graph中的计算节点。

add_process_point

给FlowNode添加映射的pp,当前一个FlowNode仅能添加一个pp,添加后会默认将FlowNode的输入输出和pp的输入输出按顺序进行映射。

map_input

给FlowNode映射输入,表示将FlowNode的第node_input_index个输入给到ProcessPoint的第pp_input_index个输入,并且给ProcessPoint的该输入设置上attr里的所有属性,返回映射好的FlowNode节点。该函数可选,不被调用时会默认按顺序去映射FlowNode和ProcessPoint的输入。

map_output

给FlowNode映射输出,表示将pp的第pp_output_index个输出给到FlowNode的第node_output_index个输出,返回映射好的FlowNode节点。

set_attr

设置FlowNode的属性。

__call__

调用FlowNode进行计算。

set_balance_scatter

设置节点balance scatter属性,具有balance scatter属性的UDF可以使用balance options设置负载均衡输出。

set_balance_gather

设置节点balance gather属性,具有balance gather属性的UDF可以使用balance options设置负载均衡亲和输出。

dataflow.FlowFlag

设置FlowMsg消息头中的flags。

FlowInfo

DataFlow的flow信息。

set_user_data

设置用户信息。

get_user_data

获取用户信息。

FlowGraph

DataFlow的graph,由输入节点FlowData和计算节点FlowNode构成。

set_contains_n_mapping_node

设置FlowGraph是否包含n_mapping节点。

set_inputs_align_attrs

设置FlowGraph中的输入对齐属性。

set_exception_catch

设置用户异常捕获功能是否开启。

dataflow.FlowOutput

描述FlowNode的输出。

dataflow.Framework

设置原始网络模型的框架类型。

FuncProcessPoint

FuncProcessPoint的构造函数,返回一个FuncProcessPoint对象。

set_init_param

设置FuncProcessPoint的初始化参数。

add_invoked_closure

添加FuncProcessPoint调用的GraphProcessPoint,返回添加好的FuncProcessPoint。

dataflow.GraphProcessPoint

GraphProcessPoint构造函数,返回一个GraphProcessPoint对象。

Tensor

Tensor的构造函数。

numpy

将Tensor转换到numpy的ndarray。

dataflow.TensorDesc

Tensor的描述函数。

dataflow.CountBatch

CountBatch功能是指基于UDF为计算处理点将多个数据按batchSize组成batch。该功能应用于dataflow异步场景。

dataflow.TimeBatch

TimeBatch功能是基于UDF为前提的。

正常模型每次处理一个数据,当需要一次处理一批数据时,就需要将这批数据组成一个Batch。最基本的Batch方式是将这批N个数据直接拼接,然后shape前加N,而某些场景需要将某段或者某几段时间数据组成一个batch,并且按特定的维度拼接,则可以通过使用TimeBatch功能来组Batch。

DataFlow运行接口

表2 DataFlow运行接口

接口名称

简介

dataflow.init

初始化dataflow时的options。

feed_data

将数据输入到Graph。

fetch_data

获取Graph输出数据。

dataflow.finalize

释放dataflow初始化的资源。

模块

dataflow module: 公共接口的命名空间

  • class CountBatch: CountBatch属性的类
  • class FlowData: 输入节点类
  • class FlowFlag: 数据标记类
  • class FlowGraph: dataflow的图类
  • class FlowInfo: 指定输入输出数据携带的信息类
  • class FlowNode: 计算节点类
  • class FlowOutput: 计算节点的输出类
  • class Framework: IR文件的框架类型的枚举类
  • class FuncProcessPoint: UDF处理点类
  • class GraphProcessPoint: 图处理点类
  • class Tensor: 张量数据类
  • class TensorDesc: 张量的描述类
  • class TimeBatch: TimeBatch属性的类

函数

  • init(...): dataflow的资源初始化方法
  • finalize(...): dataflow的资源释放方法

其他成员

表3 其他成员

名称

简介

DT_FLOAT

df.data_type.DType的对象

32位单精度浮点数

DT_FLOAT16

df.data_type.DType的对象

16位半精度浮点数

DT_INT8

df.data_type.DType的对象

有符号8位整数

DT_INT16

df.data_type.DType的对象

有符号16位整数

DT_UINT16

df.data_type.DType的对象

无符号16位整数

DT_UINT8

df.data_type.DType的对象

无符号8位整数

DT_INT32

df.data_type.DType的对象

有符号32位整数

DT_INT64

df.data_type.DType的对象

有符号64位整数

DT_UINT32

df.data_type.DType的对象

无符号32位整数

DT_UINT64

df.data_type.DType的对象

无符号64位整数

DT_BOOL

df.data_type.DType的对象

布尔类型

DT_DOUBLE

df.data_type.DType的对象

64位双精度浮点数

DT_STRING

df.data_type.DType的对象

字符串类型

搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词