界面介绍
功能说明
通信（Communication）界面用于展示集群中全网链路性能以及所有节点的通信性能，通过集群通信与计算重叠时间的分析可以找出集群训练中的慢主机或慢节点。
界面展示
通信（Communication）界面主要从两个维度来进行集群通信性能的展示，包括全网链路展示和以节点为粒度展示，分为通信矩阵（Communication Matrix）和通信耗时分析（Communication Duration Analysis）两部分进行数据展示。
通信矩阵（Communication Matrix）
中文字段 |
英文字段 |
说明 |
|---|---|---|
迭代ID |
Step |
迭代ID，下拉框支持选择某一个迭代。 |
通信域 |
Communication Group |
通信域，下拉框支持选择一个、多个或者所有节点，对应纵坐标进行节点的展示。 |
算子名称 |
Operator Name |
通信算子名称，下拉框支持选择“Total Op info”或某一个算子；其中Total Op info为对选中的“迭代ID”和通信域中所有通信算子数据的统计和。 |
通信矩阵 |
Matrix Model |
矩阵模型。 |
通信矩阵类型 |
Communication Matrix Type |
通信矩阵类型。
|
显示卡内通信 |
Show Inner Communication |
展示卡内通信数据。默认不勾选。 |
筛选范围 |
Visible Range |
数据可视范围。 默认为全量展示，可手动设置数据呈现区间。 |
Src Rank Id |
Src Rank Id |
Source Rank Id，横坐标为链路信息中源卡的Id。 |
Dst Rank Id |
Dst Rank Id |
Destination Rank Id，纵坐标为链路信息中目的卡的Id。 |
通信耗时分析（Communication Duration Analysis）
通信耗时分析（Communication Duration Analysis），主要展示节点的通信性能，包括HCCL缩略图、通信时长、数据分析以及专家建议等，如图2所示，界面参数解释请参见表2。
中文字段 |
英文字段 |
说明 |
|---|---|---|
迭代ID |
Step |
迭代ID，下拉框支持选择某一个迭代。必选。 |
通信域 |
Communication Group |
通信域，可在下拉框选择或搜索支持选择一个、多个或者所有节点，对应纵坐标进行节点的展示。必选。 |
算子名称 |
Operator Name |
通信算子名称，下拉框支持选择“Total Op info”或某一个算子；其中Total Op info为对选中的“迭代ID”和通信域中所有通信算子数据的统计和。必选。 |
通信耗时分析 |
Communication Duration Analysis |
通信耗时分析。必选，与通信矩阵任选其一。 |
通信矩阵 |
Communication Matrix |
通信矩阵。必选，与通信耗时分析任选其一。 |
HCCL |
HCCL |
通信算子缩略图。 展示通信算子的执行顺序和执行时间。 |
Rank ID |
Rank ID |
通信算子缩略图中的纵坐标表示卡序号。 |
Time(ms) |
Time(ms) |
通信算子缩略图中的横坐标表示算子运行时间，单位ms。 |
通信时长 |
Visualized Communication Time |
可视化通信时长图。 |
Time(ms) |
Time(ms) |
通信时长图表中的左侧纵坐标表示时长，单位ms。 |
Ratio |
Ratio |
通信时长图表中的右侧纵坐标表示耗时占比。 |
通信时长数据分析 |
Data Analysis of Communication Time |
算子的通信时长数据分析。 |
卡序号 |
Rank ID |
卡序号。 |
开始时间(ms) |
Start Time(ms) |
通信算子的开始时间，相对于集群内该算子开始通信的最早时间，可根据此时间判断不同卡相同算子的先后关系。 |
总时间(ms) |
Elapse Time(ms) |
通信算子所有事件总耗时。 |
传输时间(ms) |
Transit Time(ms) |
通信时长。表示通信算子的通信耗时，统计SDMA链路（server内通信）和RDMA链路（server间通信）的通信算子总耗时。如果通信耗时过长，可能是某条链路存在问题。 |
同步时间(ms) |
Synchronization Time(ms) |
同步时长。卡间第一次通信前节点之间进行同步需要的时长，用来区分等待时间过长是慢节点还是慢链路造成的。 |
等待时间(ms) |
Wait Time(ms) |
等待时长。节点之间通信前首先需要进行同步，确保通信的两个节点同步完成，再进行通信。 |
同步时间占比 |
Synchronization Time Ratio |
同步时长占比。 同步时长占比（Synchronization Time Ratio） = 同步时长（Synchronization Time） / (同步时长（Synchronization Time） + 通信时长（Transit Time）)，通信前的同步时长占比越大说明通信效率越低，可能存在慢卡的情况。 |
等待时间占比 |
Wait Time Ratio |
通信算子的等待时长占比。 等待时长占比（Wait Time Ratio） = 等待时长（Wait Time）/ (等待时长（Wait Time） + 通信时长（Transit Time）)，等待时长占比越大代表该节点的等待时长占总通信耗时越长，通信效率越低。 |
空闲时间(ms) |
Idle Time(ms) |
通信算子下发耗时。 通信算子下发耗时（Idle Time）= 算子的通信总耗时（Elapse Time）- 通信时长（Transit Time）- 等待时长（Wait Time）。 |
SDMA带宽(GB) |
SDMA BW(GB) |
SDMA带宽。 |
RDMA带宽(GB) |
RDMA BW(GB) |
RDMA带宽。 |
带宽分析 |
Bandwidth Analysis |
带宽分析。 单击对应的“查看更多”后可查看对应节点指定算子的带宽详情，如图3所示。 |
通信算子详情 |
Communication Operators Details |
通信算子的详情，当“算子名称”选择“Total Op info”时可见。 单击对应的“查看更多”后可查看对应节点通信算子的链路详情，如图4所示。 |
专家建议 |
Advice |
带宽说明，以总览、SDMA和RDMA为维度，展示SDMA和RDMA带宽的最大值、最小值、平均值、最大值与最小值之间的差异等内容，便于开发者快速识别异常点。 |
带宽分析页面是以全网链路为粒度展示通信性能，包括通信时长、通信量、带宽以及链路类型等，图中各字段说明如表3所示。
中文字段 |
英文字段 |
说明 |
|---|---|---|
包数量 |
Packet Number |
通信包数量。 |
包大小(MB) |
Packet Size(MB) |
通信包大小。 |
链路方式 |
Transport Type |
链路方式。 |
SDMA |
SDMA |
SDMA链路（节点内Device间通信链路），包括HCCS、PCIE和SIO三种类型。 |
RDMA |
RDMA |
RDMA链路（跨节点Device间通信链路）。 |
传输大小(MB) |
Transit Size(MB) |
一次通信包的大小。 |
传输时长(ms) |
Transit Time(ms) |
一次通信的时长。 |
带宽(GB/s) |
Bandwidth(GB/s) |
带宽。带宽一般为通信量除以通信时间。 经验带宽参考值分别为RDMA_Bandwidth = 12.5， HCCS_Bandwidth = 18， PCIe_Bandwidth = 20。 |
大通信包占比 |
Large Packet Ratio |
大通信包占比。通信包的大小足以使得通信链路能达到经验带宽的包的比率。 |
以算子粒度展示通信性能，包括该通信算子的通信时长、等待时长以及同步时长等，图中各字段说明可参考表4。
中文字段 |
英文字段 |
说明 |
|---|---|---|
算子名称 |
Operator Name |
通信算子名称。 |
开始时间(ms) |
Start Time(ms) |
通信算子的开始时间，相对于集群内该算子开始通信的最早时间，可根据此时间判断不同卡相同算子的先后关系。 |
总时间(ms) |
Elapse Time(ms) |
通信算子所有事件消耗时间之和，单位ms。 |
传输时间(ms) |
Transit Time(ms) |
通信时长，单位ms。通信时长的计算方式为统计SDMA链路和RDMA链路的通信算子总耗时。 |
同步时间(ms) |
Synchronization Time(ms) |
同步时长，单位ms。第一次传输数据前的等待时间。 |
等待时间(ms) |
Wait Time(ms) |
等待时长，单位ms。逻辑卡之间进行通信前，首先会进行同步，确保通信的两张卡同步完成，再进行通信。 |
同步时间占比 |
Synchronization Time Ratio |
同步时长比例。计算公式为Synchronization Time / (Synchronization Time + Transit Time)。 |
等待时间占比 |
Wait Time Ratio |
等待时长比例。计算公式为Wait Time / (Wait Time + Transit Time)。 |
空闲时间(ms) |
Idle Time(ms) |
通信算子下发耗时。 通信算子下发耗时（Idle Time）= 算子的通信总耗时（Elapse Time）- 通信时长（Transit Time）- 等待时长（Wait Time）。 |
SDMA带宽(GB) |
SDMA BW(GB) |
SDMA带宽。 |
RDMA带宽(GB) |
RDMA BW(GB) |
RDMA带宽。 |