PipeUtilization(计算单元和搬运单元耗时占比)
采集计算单元和搬运单元耗时和占比数据PipeUtilization.csv。建议优化数据搬运逻辑,提高带宽利用率。
Atlas A2训练系列产品/Atlas 800I A2推理产品
关键字段说明如下。
字段名 |
字段解释 |
---|---|
block_id |
Task运行切分数量,对应Task运行时配置的核数。 |
sub_block_id |
Task运行使用的每个block名称和序号。 |
aic_time(us) |
该Task被分配到每个AI Core计算单元上后,每个AI Core计算单元上的执行时间,单位us。 |
aic_total_cycles |
该Task被分配到每个AI Core计算单元上后,每个AI Core计算单元上的执行的cycle总数。 |
aiv_time(us) |
该Task被分配到每个AI Vector Core计算单元上后,每个AI Vector Core计算单元上的执行时间,单位us。 |
aiv_total_cycles |
该Task被分配到每个AI Vector Core计算单元上后,每个AI Vector Core计算单元上的执行的cycle总数。 |
aiv_vec_time(us) |
代表vec类型指令(向量类运算指令)耗时。 |
aiv_vec_ratio |
代表vec类型指令(向量类运算指令)的cycle数在total cycle数中的占用比。 |
aic_cube_time(us) |
代表cube类型指令(fp16及s16矩阵类运算指令)耗时。 |
aic_cube_ratio |
代表cube类型指令(fp16及s16矩阵类运算指令)的cycle数在total cycle数中的占用比。 |
ai*_scalar_time(us) |
代表scalar类型指令(标量类运算指令)耗时。 |
ai*_scalar_ratio |
代表scalar类型指令(标量类运算指令)的cycle数在total cycle数中的占用比。 |
aic_fixpipe_time(us) |
代表fixpipe类型指令(L0C->GM/L1搬运类指令)耗时。 |
aic_fixpipe_ratio |
代表fixpipe类型指令(L0C->GM/L1搬运类指令)的cycle数在total cycle数中的占用比。 |
aic_mte1_time(us) |
代表mte1类型指令(L1->L0A/L0B搬运类指令)耗时,不包括搬运等待时间。 |
aic_mte1_ratio |
代表mte1类型指令(L1->L0A/L0B搬运类指令)的cycle数在total cycle数中的占用比。 |
ai*_mte2_time(us) |
代表mte2类型指令(GM->AICORE搬运类指令)耗时。 |
ai*_mte2_ratio |
代表mte2类型指令(GM->AICORE搬运类指令)的cycle数在total cycle数中的占用比。 |
ai*_mte3_time(us) |
代表mte3类型指令(AICORE->GM搬运类指令)耗时。 |
ai*_mte3_ratio |
代表mte3类型指令(AICORE->GM搬运类指令)的cycle数在total cycle数中的占用比。 |
ai*_icache_miss_rate |
代表icache缺失率,即未命中instruction的L1 cache,数值越小越好。 |
Atlas 推理系列产品
关键字段说明如下。
字段名 |
字段解释 |
---|---|
aic_time(us) |
该Task被分配到每个AI Core计算单元上后,每个AI Core计算单元上的执行时间,单位us。 |
aic_total_cycles |
该Task被分配到每个AI Core计算单元上后,每个AI Core计算单元上的执行的cycle总数。 |
aic_cube_time(us) |
代表cube类型指令(fp16及s16矩阵类运算指令)耗时。 |
aic_cube_ratio |
代表cube类型指令(fp16及s16矩阵类运算指令)的cycle数在total cycle数中的占用比。 |
aic_scalar_time(us) |
代表scalar类型指令(标量类运算指令)耗时。 |
aic_scalar_ratio |
代表scalar类型指令(标量类运算指令)的cycle数在total cycle数中的占用比。 |
aic_mte1_time(us) |
代表mte1类型指令(L1->L0A/L0B搬运类指令)耗时,不包括搬运等待时间。 |
aic_mte1_ratio |
代表mte1类型指令(L1->L0A/L0B搬运类指令)的cycle数在total cycle数中的占用比。 |
aic_mte2_time(us) |
代表mte2类型指令(GM->AICORE搬运类指令)耗时。 |
aic_mte2_ratio |
代表mte2类型指令(GM->AICORE搬运类指令)的cycle数在total cycle数中的占用比。 |
aic_mte3_time(us) |
代表mte3类型指令(AICORE->GM搬运类指令)耗时。 |
aic_mte3_ratio |
代表mte3类型指令(AICORE->GM搬运类指令)的cycle数在total cycle数中的占用比。 |
aic_icache_miss_rate |
代表icache缺失率,即未命中instruction的L1 cache,数值越小越好。 |
aic_vec_time(us) |
代表vec类型指令(向量类运算指令)耗时。 |
aic_vec_ratio |
代表vec类型指令(向量类运算指令)的cycle数在total cycle数中的占用比。 |