aclnnMatmulCompressDequant

支持的产品型号

• Atlas 推理系列产品。

接口原型

每个算子分为undefined，必须先调用“aclnnMatmulCompressDequantGetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器，再调用“aclnnMatmulCompressDequant”接口执行计算。

• aclnnStatus aclnnMatmulCompressDequantGetWorkspaceSize(const aclTensor* x1, const aclTensor* x2, const aclTensor* compressIndex, const aclTensor* bias, const aclTensor* deqScale, const aclTensor* offsetW, int offsetX, const aclIntArray* compressInfo, aclTensor* out, uint64_t* workspaceSize, aclOpExecutor** executor)
• aclnnStatus aclnnMatmulCompressDequant(void* workspace, uint64_t workspaceSize, aclOpExecutor* executor, aclrtStream stream)

功能描述

• 算子功能：完成矩阵计算过程中weight解压缩以及反量化功能(需要与CompressFcOp算子配合使用，压缩详细使用参考样例)。
• 计算公式：

$$x_2' = unzip(x2, compressIndex)\\ result=(x_1 @ x_2' + bias)*deqScale$$

aclnnMatmulCompressDequantGetWorkspaceSize

• 参数说明：

  • x1（aclTensor*, 计算输入)：Device侧的2维ND格式aclTensor，数据类型支持INT8，且数据类型需要与x2满足数据类型推导规则（参见undefined）。不支持undefined。

  • x2（aclTensor*, 计算输入)：Device侧的1维ND格式aclTensor，数据类型支持INT8，且解压后数据类型需要与x1满足数据类型推导规则（参见undefined）。不支持undefined，undefined支持ND且undefined需要与x1一致。x2'的Reduce维度需要与x1的Reduce维度大小相等。

  • compressIndex（aclTensor*, 计算输入)：Device侧的1维ND格式aclTensor，数据类型支持INT8，为x2压缩索引表。

  • bias（aclTensor*, 计算输入)：Device侧的2维ND格式aclTensor，数据类型仅支持INT32， 可选输入。

  • deqScale（aclTensor*, 计算输入)：Device侧的2维aclTensor或者scalar，数据类型仅支持UINT64。

  • offsetW（aclTensor*, 计算输入)：Device侧的aclTensor，数据类型是INT8，维度与x2'一致， 可选输入。

  • offsetX(int32, 计算输入)：Host侧的标量，数据类型仅支持INT32。

  • compressInfo(aclIntArray*, 计算输入)：Host侧整型数据列表，数据类型为INT64。其中包括压缩块信息tilingN、tilingK(通过modelslim工具中weight_compression模块压缩后获取)，以及压缩前x2矩阵原始shape，该shape为2维，最后包括压缩块方向标识。

  • out(aclTensor*, 计算输出)：Device侧的2维aclTensor，数据类型支持FLOAT16。undefined支持ND，不支持undefined。

  • workspaceSize(uint64_t*, 出参)：返回需要在Device侧申请的workspace大小。

  • executor(aclOpExecutor**, 出参)：返回op执行器，包含了算子计算流程。

• 返回值：

  aclnnStatus：返回状态码，具体参见undefined。

  [object Object]

aclnnMatmulCompressDequant

• 参数说明：

  • workspace(void*, 入参)：在Device侧申请的workspace内存地址。

  • workspaceSize(uint64_t, 入参)：在Device侧申请的workspace大小，由第一段接口aclnnMatMulGetWorkspaceSize获取。

  • executor(aclOpExecutor*, 入参)：op执行器，包含了算子计算流程。

  • stream(aclrtStream, 入参)：指定执行任务的AscendCL Stream流。

• 返回值：

  aclnnStatus：返回状态码，具体参见undefined

约束与限制

无。

示例

示例编译请参考undefined

执行流程如下：

1.生成随机数据并进行压缩

2.执行样例

其中512, 1024, 1024分别为mat1与mat2维度数据（m,k,n）， 1048576为压缩后数据文件（./data/weight/weight.dat）的大小（bytes）， 256为压缩后索引文件(./data/index/weight.dat)大小（bytes）

其中压缩过程请参考如下接口进行压缩，压缩后的weight和index分别为以下aclnn调用示例的文件输入 使用以下接口时，需要对cann包中modelslim中压缩工具进行编译，具体可以参考ascend-toolkit/latest/python/site-packages/modelslim/pytorch/weight_compression目录下的README.md编译压缩函数章节，若执行后仍报无modelslim模块，请将modelslim所在目录添加到PYTHONPATH中。

若deqScale为float32类型数据，以int32读取并转换为int64

调用样例前生成随机数据gen_data.py

aclnn接口调用示例