ArithmeticUtilization(cube及vector类型指令耗时和占比)
cube及vector类型指令的cycle占比数据ArithmeticUtilization.csv,建议优化算子逻辑,减少冗余计算指令。详情介绍请参见下表中的字段说明。
Atlas A2训练系列产品/Atlas 800I A2推理产品
字段名 |
字段解释 |
---|---|
block_id |
Task运行切分数量,对应Task运行时配置的核数。 |
sub_block_id |
Task运行使用的每个block名称和序号。 |
aic_time(us) |
该Task被分配到每个AI Core计算单元上后,每个AI Core计算单元上的执行时间,单位us。 |
aic_total_cycles |
该Task被分配到每个AI Core计算单元上后,每个AI Core计算单元上的执行的cycle总数。 |
aiv_time(us) |
该Task被分配到每个AI Vector Core计算单元上后,每个AI Vector Core计算单元上的执行时间,单位us。 |
aiv_total_cycles |
该Task被分配到每个AI Vector Core计算单元上后,每个AI Vector Core计算单元上的执行的cycle总数。 |
aic_cube_ ratio |
代表cube 单元指令的cycle数在total cycle数中的占用比。 |
aic_cube_fp16_ratio |
代表cube fp16类型指令的cycle数在total cycle数中的占用比。 |
aic_cube_int8_ratio |
代表cube int8类型指令的cycle数在total cycle数中的占用比。 |
aic_cube_fops |
代表cube类型的浮点运算数,即计算量,可用于衡量算法/模型的复杂度,其中fops表示floating point operations。 |
aic_cube_total_instr_number |
代表cube指令的总条数,包括fp和int类型。 |
aic_cube_fp_instr_number |
代表cube fp类型指令的总条数。 |
aic_cube_int_instr_number |
代表cube int类型指令的总条数。 |
aiv_vec_ratio |
代表vec单元指令的cycle数在total cycle数中的占用比。 |
aiv_vec_fp32_ratio |
代表vec fp32类型指令的cycle数在total cycle数中的占用比。 |
aiv_vec_fp16_ratio |
代表vec fp16类型指令的cycle数在total cycle数中的占用比。 |
aiv_vec_int32_ratio |
代表vec int32类型指令的cycle数在total cycle数中的占用比。 |
aiv_vec_ int16_ratio |
代表vec int16类型指令的cycle数在total cycle数中的占用比。 |
aiv_vec_misc_ratio |
代表vec misc类型指令的cycle数在total cycle数中的占用比。 |
aiv_vec_fops |
代表vector类型浮点运算数,即计算量,可用于衡量算法/模型的复杂度,其中fops表示floating point operations。 |
Atlas 推理系列产品
字段名 |
字段解释 |
---|---|
aic_time(us) |
该Task被分配到每个AI Core计算单元上后,每个AI Core计算单元上的执行时间,单位us。 |
aic_total_cycles |
该Task被分配到每个AI Core计算单元上后,每个AI Core计算单元上的执行的cycle总数。 |
aic_cube_ ratio |
代表cube 单元指令的cycle数在total cycle数中的占用比。 |
aic_cube_fp16_ratio |
代表cube fp16类型指令的cycle数在total cycle数中的占用比。 |
aic_cube_int8_ratio |
代表cube int8类型指令的cycle数在total cycle数中的占用比。 |
aic_cube_fops |
代表cube类型的浮点运算数,即计算量,可用于衡量算法/模型的复杂度,其中fops表示floating point operations。 |
aic_cube_total_instr_number |
代表cube指令的总条数,包括fp和int类型。 |
aic_vec_ratio |
代表vec单元指令的cycle数在total cycle数中的占用比。 |
aic_vec_fp32_ratio |
代表vec fp32类型指令的cycle数在total cycle数中的占用比。 |
aic_vec_fp16_ratio |
代表vec fp16类型指令的cycle数在total cycle数中的占用比。 |
aic_vec_int32_ratio |
代表vec int32类型指令的cycle数在total cycle数中的占用比。 |
aic_vec_ int16_ratio |
代表vec int16类型指令的cycle数在total cycle数中的占用比。 |
aic_vec_misc_ratio |
代表vec misc类型指令的cycle数在total cycle数中的占用比。 |
aic_vec_fops |
代表vector类型浮点运算数,即计算量,可用于衡量算法/模型的复杂度,其中fops表示floating point operations。 |