GetSpecialMDLConfig

功能说明

用于配置SpecialMDL模板的参数，获取自定义SpecialMDL模板。

函数原型

__aicore__ constexpr MatmulConfig GetSpecialMDLConfig(const bool intrinsicsLimit = false, const bool batchLoop = false, const uint32_t doMTE2Preload = 0, const bool isVecND2NZ = false, bool isPerTensor = false, bool hasAntiQuantOffset = false)

参数说明

本接口的所有参数用于设置MatmulConfig结构体中的参数，其中互相对应的参数的功能作用相同。

表1 接口参数说明
参数名	输入/输出	描述
intrinsicsLimit	输入	用于设置参数intrinsicsCheck。当左矩阵或右矩阵在单核上内轴（即尾轴）大于等于65535时，是否使能循环执行数据的搬入。例如，左矩阵A[M, K]，单核上的内轴数据singleCoreK大于65535，配置该参数为true后，API内部通过循环执行数据的搬入。参数取值如下： false：当左矩阵或右矩阵在单核上内轴大于等于65535时，不使能循环执行数据的搬入（默认值） true：当左矩阵或右矩阵在单核上内轴大于等于65535时，使能数循环执行数据的搬入
batchLoop	输入	用于设置参数isNBatch。是否多Batch输入多Batch输出。仅对BatchMatmul有效。参数取值如下： false：不使能多Batch（默认值） true：使能多Batch
doMTE2Preload	输入	用于设置参数doMTE2Preload。在MTE2流水间隙较大，且M/N数值较大时可通过该参数开启对应M/N方向的预加载功能，开启后能减小MTE2间隙，提升性能。预加载功能仅在MDL模板有效。参数取值如下： 0：不开启（默认值） 1：开启M方向preload 2：开启N方向preload 注意，开启M/N预加载功能时需保证K全载，且M/N开启Double Buffer。
isVecND2NZ	输入	用于设置参数enVecND2NZ。使能通过vector进行ND2NZ。使能时需要设置SetLocalWorkspace。参数取值如下： false：不使能通过vector进行ND2NZ（默认值） true：使能通过vector进行ND2NZ 针对Atlas推理系列产品AI Core，在UB空间足够的条件下（UB空间大于2*TCubeTiling的transLength参数），建议优先使能该参数，搬运性能更好。
isPerTensor	输入	用于设置参数isPerTensor。 A矩阵half类型输入且B矩阵int8类型输入场景，使能B矩阵量化时是否为per tensor，true为per tensor，false为per channel。
hasAntiQuantOffset	输入	用于设置参数hasAntiQuantOffset。 A矩阵half类型输入且B矩阵int8类型输入场景，使能B矩阵量化时是否使用offset系数。

返回值

MatmulConfig结构体。

支持的型号

Atlas A2训练系列产品/Atlas 800I A2推理产品

注意事项

无

调用示例

constexpr MatmulConfig MM_CFG = GetSpecialMDLConfig();
Matmul<A_TYPE, B_TYPE, C_TYPE, BIAS_TYPE, MM_CFG> mm;
REGIST_MATMUL_OBJ(&pipe, GetSysWorkSpacePtr(), mm, &tiling);
mm.SetTensorA(gm_a);
mm.SetTensorB(gm_b);
mm.SetBias(gm_bias);
mm.IterateAll(gm_c);

父主题： Matmul