aclnnQuantMatmulAllReduceV2

支持的产品型号

[object Object]Atlas A2 训练系列产品/Atlas 800I A2 推理产品[object Object]。

说明： 使用该接口时，请确保驱动固件包和CANN包都为配套的8.0.RC2版本或者配套的更高版本，否则将会引发报错，比如BUS ERROR等。

接口原型

每个算子分为两段式接口，必须先调用“aclnnQuantMatmulAllReduceV2GetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器，再调用“aclnnQuantMatmulAllReduceV2”接口执行计算。

aclnnStatus aclnnQuantMatmulAllReduceV2GetWorkspaceSize(const aclTensor *x1, const aclTensor *x2, const aclTensor *biasOptional, const aclTensor *x3Optional, const aclTensor *dequantScale, const aclTensor *pertokenScaleOptional, const char* group, const char *reduceOp, int64_t commTurn, int64_t streamMode, const aclTensor *output, uint64_t *workspaceSize, aclOpExecutor **executor);
aclnnStatus aclnnQuantMatmulAllReduceV2(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, aclrtStream stream);

功能描述

算子功能：对量化后的入参x1、x2进行mm计算后，接着进行dequant和pertoken计算，接着与x3进行add操作，最后做all_reduce计算。
计算公式： $output= allReduce(dequantScale * pertokenScaleOptional * (x1_{int8}@x2_{int8} + biasOptional_{int32}) + x3Optional)$

aclnnQuantMatmulAllReduceV2GetWorkspaceSize

参数说明：
- x1(aclTensor*, 计算输入)：公式中的输入x1，数据类型支持INT8，数据格式支持ND。Device侧的aclTensor，mm左矩阵，不支持非连续输入。当前版本仅支持二维或者三维输入。
- x2(aclTensor*, 计算输入)：公式中的输入x2，数据类型支持INT8，数据格式支持ND和FRACTAL_NZ格式，Device侧的aclTensor，mm右矩阵。
  - 当x2的Format为FRACTAL_NZ时，配合undefined和undefined完成输入ND到NZ的转换，undefined仅支持transpose场景。
  - 当x2的Format为ND时，当前版本仅支持二维输入。
  - 当x2的Format为FRACTAL_NZ时，当前版本仅支持四维输入。
- biasOptional(aclTensor*, 计算输入)：公式中的输入biasOptional，数据类型支持INT32，数据格式支持ND。Device侧的aclTensor，对应计算公式中bias偏移。可选，可为空。当前版本仅支持一维输入。
- x3Optional(aclTensor*, 计算输入)：公式中的输入x3Optional，数据类型支持FLOAT16、BFLOAT16，数据格式支持ND。Device侧的aclTensor，mm计算后的add计算，维度与output一致。
- dequantScale(aclTensor*, 计算输入)：公式中的输入dequantScale，数据类型支持INT64、UINT64、FLOAT32、BFLOAT16，数据格式支持ND。mm计算后的去量化系数。shape在per-tensor场景为[1]，per-channel场景为[n]/[1, n]。
  - 输出为BFLOAT16时，直接将BFLOAT16类型的dequantScale传入本接口。
  - 输出为FLOAT16时，如果pertokenScale不为空，可直接将FLOAT32类型的dequantScale传入本接口，如果pertokenScale为空，则需提前调用TransQuantParamV2算子的aclnn接口来将dequantScale转成INT64/UINT64数据类型。
- pertokenScaleOptional(aclTensor*, 计算输入)：公式中的输入pertokenScaleOptional，mm计算后的pertoken去量化系数。可选，可为空，数据类型支持FLOAT32，数据格式支持ND。x1为[b, s, k]时shape为[b*s]，x1为[m, k]时shape为[m]。
- group(char*, 计算输入)：通信域名称。数据类型支持String。通过Hccl提供的接口获取：extern HcclResult HcclGetCommName(HcclComm comm, char* commName); commName即为group。
- reduceOp(char*, 计算输入)：reduce操作类型，数据类型支持String。目前仅支持"sum"。
- commTurn(int64_t, 计算输入)：通信数据切分数，数据类型支持int64_t。即总数据量/单次通信量。当前版本仅支持输入为0。
- streamMode(int64_t, 计算输入)：Host侧的整型，数据类型支持int64_t。AscendCL流模式的枚举，当前只支持枚举值1。
- output(aclTensor *, 输出)：计算+通信的结果，数据类型支持FLOAT16、BFLOAT16。
- workspaceSize(uint64_t *, 出参)：返回需要在Device侧申请的workspace大小。
- executor(aclOpExecutor **, 出参)：返回op执行器，包含了算子计算流程。
返回值：

返回aclnnStatus状态码，具体参见undefined。

aclnnQuantMatmulAllReduceV2

参数说明：
- workspace(void*, 入参)：在Device侧申请的workspace内存地址。
- workspaceSize(uint64_t, 入参)：在Device侧申请的workspace大小，由第一段接口aclnnQuantMatmulAllReduceV2GetWorkspaceSize获取。
- executor(aclOpExecutor*, 入参)：op执行器，包含了算子计算流程。
- stream(aclrtStream, 入参)：指定执行任务的AscendCL stream流。
返回值：

返回aclnnStatus状态码，具体参见undefined。

约束与限制

增量场景不使能MC2，全量场景使能MC2。
输入x1可为二维或者三维，且不为空Tensor，其shape为(b, s, k)或者(m, k)。x2必须是二维，且不为空Tensor。其shape为(k, n)，k轴满足mm算子入参要求，k轴相等。
m大小不超过2147483647，x1与x2的最后一维大小不超过65535，x1的最后一维指k，x2的最后一维指转置时的k或非转置时的n。
bias若非空，维度为(n)。x3若非空，shape大小与output相等。
当输入x1的shape为(b, s, k)时，输出output的shape为(b, s, n)，当输入x1的shape为(m, k)时，输出output的shape为(m, n)。
传入的x1、x2、dequantScale或者output不为空指针。
x1和x2、dequantScale、output、bias（非空场景）、x3（非空场景）的数据类型和数据格式需要在支持的范围之内。
若输出output类型为FLOAT16，当pertokenScale为空时，dequantScale的类型为INT64、UINT64；当pertokenScale不为空时，dequantScale的类型为FLOAT32。
若输出output类型为BFLOAT16，dequantScale的类型为BFLOAT16。
x1维度为[b, s, k]时pertokenScaleOptional维度为[b*s]，x1维度为[m, k]时pertokenScaleOptional维度为[m]。
streamMode的数据在可选范围内，目前仅支持1。
只支持x2矩阵转置/不转置，x1矩阵不支持转置场景。
支持1、2、4、8卡，并且仅支持hccs链路all mesh组网。
一个模型中的通算融合MC2算子，仅支持相同通信域。

调用示例

示例代码如下，仅供参考，具体编译和执行过程请参考undefined。

[object Object]