下载
中文
注册

BatchMatMulV2ReshapeFusionPass

融合模式

针对a或b的shape为1维场景,使用reshape将输入重置为2维。

融合为

使用约束

  • 不支持INT4/INT8数据类型,不支持动态shape场景。
  • 要求左矩阵shape为3维,右矩阵shape为2维,且左矩阵trans_flag为False。
  • UB融合场景(BatchMatMul后接Add/Relu/AddN算子),Batch维度大于50, M维度小于32,或者M=1,batch大于1,图融合生效。
  • 非UB融合场景,Batch维度大于4096, M维度小于64,或者M=1,batch大于1,图融合生效。
  • Atlas 推理系列产品的非UB融合场景,支持白名单用例使能该图融合。

支持的型号

Atlas 200/300/500 推理产品

Atlas 推理系列产品

Atlas 200/500 A2推理产品

Atlas 训练系列产品