GetIBShareNormConfig

功能说明

用于配置IBShare模板的参数，获取自定义IBShare模板。

函数原型

__aicore__ constexpr MatmulConfig GetIBShareNormConfig(const bool intrinsicsLimit = false, const bool batchLoop = false, const bool isVecND2NZ = false, const BatchMode bmmMode = BatchMode::BATCH_LESS_THAN_L1, const bool isDoubleCache = false, const bool enUnitFlag = true)

参数说明

本接口的所有参数用于设置MatmulConfig结构体中的参数，其中互相对应的参数的功能作用相同。

表1 接口参数说明
参数名	输入/输出	描述
intrinsicsLimit	输入	用于设置参数intrinsicsCheck。当左矩阵或右矩阵在单核上内轴（即尾轴）大于等于65535时，是否使能循环执行数据的搬入。例如，左矩阵A[M, K]，单核上的内轴数据singleCoreK大于65535，配置该参数为true后，API内部通过循环执行数据的搬入。参数取值如下： false：当左矩阵或右矩阵在单核上内轴大于等于65535时，不使能循环执行数据的搬入（默认值） true：当左矩阵或右矩阵在单核上内轴大于等于65535时，使能数循环执行数据的搬入
batchLoop	输入	用于设置参数isNBatch。是否多Batch输入多Batch输出。仅对BatchMatmul有效。参数取值如下： false：不使能多Batch（默认值） true：使能多Batch
isVecND2NZ	输入	用于设置参数enVecND2NZ。使能通过vector进行ND2NZ。使能时需要设置SetLocalWorkspace。参数取值如下： false：不使能通过vector进行ND2NZ（默认值） true：使能通过vector进行ND2NZ 针对Atlas推理系列产品AI Core，在UB空间足够的条件下（UB空间大于2*TCubeTiling的transLength参数），建议优先使能该参数，搬运性能更好。
bmmMode	输入	用于设置参数batchMode。 Layout类型为NORMAL时，设置BatchMatmul输入A/B矩阵的多batch数据总和与L1 Buffer的大小关系。参数取值如下： BatchMode::BATCH_LESS_THAN_L1：多batch数据总和<L1 Buffer Size； BatchMode::BATCH_LARGE_THAN_L1：多batch数据总和>L1 Buffer Size； BatchMode::SINGLE_LARGE_THAN_L1：单batch数据总和>L1 Buffer Size。
isDoubleCache	输入	用于设置参数enableDoubleCache。开启IBShare模板后，在L1 Buffer上是否同时缓存两块数据。注意，需要控制base块大小，防止两块缓存超过L1 Buffer大小限制。参数取值如下： false：L1 Buffer上同时缓存一块数据（默认值） true：使能L1 Buffer上同时缓存两块数据
enUnitFlag	输入	用于设置参数enUnitFlag。使能unitflag功能，使计算与搬运流水并行，提高性能。Norm, IBShare下默认使能，MDL下默认不使能。参数取值如下： false：不使能unitflag功能 true：使能unitflag功能

返回值

MatmulConfig结构体。

支持的型号

Atlas A2训练系列产品/Atlas 800I A2推理产品

注意事项

无

调用示例

constexpr MatmulConfig MM_CFG = GetIBShareNormConfig();
typedef matmul::MatmulType<AscendC::TPosition::GM, CubeFormat::ND, half> aType; 
typedef matmul::MatmulType<AscendC::TPosition::GM, CubeFormat::ND, half, true, LayoutMode::NONE, true> bType; 
typedef matmul::MatmulType<AscendC::TPosition::GM, CubeFormat::ND, float> cType; 
typedef matmul::MatmulType<AscendC::TPosition::GM, CubeFormat::ND, float> biasType; 
Matmul<A_TYPE, B_TYPE, C_TYPE, BIAS_TYPE, MM_CFG> mm;
REGIST_MATMUL_OBJ(&pipe, GetSysWorkSpacePtr(), mm, &tiling);
mm.SetTensorA(gm_a);
mm.SetTensorB(gm_b);
mm.SetBias(gm_bias);
mm.IterateAll(gm_c);

父主题： Matmul