接口列表
使用DataFlow python接口构造DataFlow图进行推理。支持定义图处理点,UDF处理点,描述处理点之间的数据流关系;支持导入TensorFlow, ONNX, MindSpore的IR文件作为图处理点计算逻辑定义。
DataFlow构图接口
接口名称 |
简介 |
---|---|
Dataflow Graph中的数据节点,每个FlowData对应一个输入。 |
|
Dataflow Graph中的计算节点。 |
|
给FlowNode添加映射的pp,当前一个FlowNode仅能添加一个pp,添加后会默认将FlowNode的输入输出和pp的输入输出按顺序进行映射。 |
|
给FlowNode映射输入,表示将FlowNode的第node_input_index个输入给到ProcessPoint的第pp_input_index个输入,并且给ProcessPoint的该输入设置上attr里的所有属性,返回映射好的FlowNode节点。该函数可选,不被调用时会默认按顺序去映射FlowNode和ProcessPoint的输入。 |
|
给FlowNode映射输出,表示将pp的第pp_output_index个输出给到FlowNode的第node_output_index个输出,返回映射好的FlowNode节点。 |
|
设置FlowNode的属性。 |
|
调用FlowNode进行计算。 |
|
设置节点balance scatter属性,具有balance scatter属性的UDF可以使用balance options设置负载均衡输出。 |
|
设置节点balance gather属性,具有balance gather属性的UDF可以使用balance options设置负载均衡亲和输出。 |
|
设置FlowMsg消息头中的flags。 |
|
DataFlow的flow信息。 |
|
设置用户信息。 |
|
获取用户信息。 |
|
DataFlow的graph,由输入节点FlowData和计算节点FlowNode构成。 |
|
设置FlowGraph是否包含n_mapping节点。 |
|
设置FlowGraph中的输入对齐属性。 |
|
设置用户异常捕获功能是否开启。 |
|
描述FlowNode的输出。 |
|
设置原始网络模型的框架类型。 |
|
FuncProcessPoint的构造函数,返回一个FuncProcessPoint对象。 |
|
设置FuncProcessPoint的初始化参数。 |
|
添加FuncProcessPoint调用的GraphProcessPoint,返回添加好的FuncProcessPoint。 |
|
GraphProcessPoint构造函数,返回一个GraphProcessPoint对象。 |
|
Tensor的构造函数。 |
|
将Tensor转换到numpy的ndarray。 |
|
Tensor的描述函数。 |
|
CountBatch功能是指基于UDF为计算处理点将多个数据按batchSize组成batch。该功能应用于dataflow异步场景。 |
|
TimeBatch功能是基于UDF为前提的。 正常模型每次处理一个数据,当需要一次处理一批数据时,就需要将这批数据组成一个Batch。最基本的Batch方式是将这批N个数据直接拼接,然后shape前加N,而某些场景需要将某段或者某几段时间数据组成一个batch,并且按特定的维度拼接,则可以通过使用TimeBatch功能来组Batch。 |
DataFlow运行接口
接口名称 |
简介 |
---|---|
初始化dataflow时的options。 |
|
将数据输入到Graph。 |
|
获取Graph输出数据。 |
|
释放dataflow初始化的资源。 |
模块
dataflow module: 公共接口的命名空间
类
- class CountBatch: CountBatch属性的类
- class FlowData: 输入节点类
- class FlowFlag: 数据标记类
- class FlowGraph: dataflow的图类
- class FlowInfo: 指定输入输出数据携带的信息类
- class FlowNode: 计算节点类
- class FlowOutput: 计算节点的输出类
- class Framework: IR文件的框架类型的枚举类
- class FuncProcessPoint: UDF处理点类
- class GraphProcessPoint: 图处理点类
- class Tensor: 张量数据类
- class TensorDesc: 张量的描述类
- class TimeBatch: TimeBatch属性的类
函数
- init(...): dataflow的资源初始化方法
- finalize(...): dataflow的资源释放方法
其他成员
名称 |
简介 |
---|---|
DT_FLOAT |
df.data_type.DType的对象 32位单精度浮点数 |
DT_FLOAT16 |
df.data_type.DType的对象 16位半精度浮点数 |
DT_INT8 |
df.data_type.DType的对象 有符号8位整数 |
DT_INT16 |
df.data_type.DType的对象 有符号16位整数 |
DT_UINT16 |
df.data_type.DType的对象 无符号16位整数 |
DT_UINT8 |
df.data_type.DType的对象 无符号8位整数 |
DT_INT32 |
df.data_type.DType的对象 有符号32位整数 |
DT_INT64 |
df.data_type.DType的对象 有符号64位整数 |
DT_UINT32 |
df.data_type.DType的对象 无符号32位整数 |
DT_UINT64 |
df.data_type.DType的对象 无符号64位整数 |
DT_BOOL |
df.data_type.DType的对象 布尔类型 |
DT_DOUBLE |
df.data_type.DType的对象 64位双精度浮点数 |
DT_STRING |
df.data_type.DType的对象 字符串类型 |