下载
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助
昇腾小AI

PipeUtilization(计算单元和搬运单元耗时占比)

采集计算单元和搬运单元耗时和占比数据PipeUtilization.csv。建议优化数据搬运逻辑,提高带宽利用率。

Atlas A2训练系列产品/Atlas 800I A2推理产品

图1 PipeUtilization.csv文件

关键字段说明如下。

表1 字段说明

字段名

字段解释

block_id

Task运行切分数量,对应Task运行时配置的核数。

sub_block_id

Task运行使用的每个block名称和序号。

aic_time(us)

该Task被分配到每个AI Core计算单元上后,每个AI Core计算单元上的执行时间,单位us。

aic_total_cycles

该Task被分配到每个AI Core计算单元上后,每个AI Core计算单元上的执行的cycle总数。

aiv_time(us)

该Task被分配到每个AI Vector Core计算单元上后,每个AI Vector Core计算单元上的执行时间,单位us。

aiv_total_cycles

该Task被分配到每个AI Vector Core计算单元上后,每个AI Vector Core计算单元上的执行的cycle总数。

aiv_vec_time(us)

代表vec类型指令(向量类运算指令)耗时。

aiv_vec_ratio

代表vec类型指令(向量类运算指令)的cycle数在total cycle数中的占用比。

aic_cube_time(us)

代表cube类型指令(fp16及s16矩阵类运算指令)耗时。

aic_cube_ratio

代表cube类型指令(fp16及s16矩阵类运算指令)的cycle数在total cycle数中的占用比。

ai*_scalar_time(us)

代表scalar类型指令(标量类运算指令)耗时。

ai*_scalar_ratio

代表scalar类型指令(标量类运算指令)的cycle数在total cycle数中的占用比。

aic_fixpipe_time(us)

代表fixpipe类型指令(L0C->GM/L1搬运类指令)耗时。

aic_fixpipe_ratio

代表fixpipe类型指令(L0C->GM/L1搬运类指令)的cycle数在total cycle数中的占用比。

aic_mte1_time(us)

代表mte1类型指令(L1->L0A/L0B搬运类指令)耗时,不包括搬运等待时间。

aic_mte1_ratio

代表mte1类型指令(L1->L0A/L0B搬运类指令)的cycle数在total cycle数中的占用比。

ai*_mte2_time(us)

代表mte2类型指令(GM->AICORE搬运类指令)耗时。

ai*_mte2_ratio

代表mte2类型指令(GM->AICORE搬运类指令)的cycle数在total cycle数中的占用比。

ai*_mte3_time(us)

代表mte3类型指令(AICORE->GM搬运类指令)耗时。

ai*_mte3_ratio

代表mte3类型指令(AICORE->GM搬运类指令)的cycle数在total cycle数中的占用比。

ai*_icache_miss_rate

代表icache缺失率,即未命中instruction的L1 cache,数值越小越好。

Atlas 推理系列产品

图2 PipeUtilization.csv文件

关键字段说明如下。

表2 字段说明

字段名

字段解释

aic_time(us)

该Task被分配到每个AI Core计算单元上后,每个AI Core计算单元上的执行时间,单位us。

aic_total_cycles

该Task被分配到每个AI Core计算单元上后,每个AI Core计算单元上的执行的cycle总数。

aic_cube_time(us)

代表cube类型指令(fp16及s16矩阵类运算指令)耗时。

aic_cube_ratio

代表cube类型指令(fp16及s16矩阵类运算指令)的cycle数在total cycle数中的占用比。

aic_scalar_time(us)

代表scalar类型指令(标量类运算指令)耗时。

aic_scalar_ratio

代表scalar类型指令(标量类运算指令)的cycle数在total cycle数中的占用比。

aic_mte1_time(us)

代表mte1类型指令(L1->L0A/L0B搬运类指令)耗时,不包括搬运等待时间。

aic_mte1_ratio

代表mte1类型指令(L1->L0A/L0B搬运类指令)的cycle数在total cycle数中的占用比。

aic_mte2_time(us)

代表mte2类型指令(GM->AICORE搬运类指令)耗时。

aic_mte2_ratio

代表mte2类型指令(GM->AICORE搬运类指令)的cycle数在total cycle数中的占用比。

aic_mte3_time(us)

代表mte3类型指令(AICORE->GM搬运类指令)耗时。

aic_mte3_ratio

代表mte3类型指令(AICORE->GM搬运类指令)的cycle数在total cycle数中的占用比。

aic_icache_miss_rate

代表icache缺失率,即未命中instruction的L1 cache,数值越小越好。

aic_vec_time(us)

代表vec类型指令(向量类运算指令)耗时。

aic_vec_ratio

代表vec类型指令(向量类运算指令)的cycle数在total cycle数中的占用比。

搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词