背景知识

Runtime和周边的关系:

上层模块

分类

序号

模块

功能

上层模块

1

GE

图引擎:负责,图编译,图下发,图运行的整体控制,包括图运行需要的内存,数据,算子的参数等信息的初始化。

2

ACL

昇腾对外编程接口,封装Runtime,提供对外基本功能,以及DVPP的功能封装。

3

HCCL

训练中,负责集合通信(多P进程同步),以及训练间数据同步。

4

MindSpore

训练框架,负责训练的整体控制,调用GE,ACL HCCL 以及RUNTIME 实现。

5

TF

第三方训练框架,负责训练的整体控制,调用GE,ACL HCCL 以及RUNTIME 实现。

6

pytorch

第三方训练框架,负责训练的整体控制,调用GE,ACL HCCL 以及RUNTIME 实现。

底层模块

分类

序号

模块

功能

底层模块

1

DRV

1、负责Host和Device通信以及数据传输。

2、负责Device资源管理,(内存,stream,event,notify,model等)。

3、负责HDC,负责AI CPU的TDT数据通信。

2

TS

整个NPU的调度执行中心,负责任务顺序调度执行。

3

AI Core

执行AI Core算子。

4

AI CPU

执行AI CPU算子和任务。

5

DMA

负责数据搬移。

6

notify

HCCL集合通信的底层功能实现。

7

TS task

ts控制任务,由TS执行。