SetDeqScale

功能说明

设置DEQSCALE寄存器的值，接口及其适用场景如下：

SetDeqScale(half scale)：用于AddDeqRelu指令与Cast指令的s322f16场景。
SetDeqScale(float scale, int16_t offset, bool signMode)：用于CastDeq（isVecDeq=false）的场景。
SetDeqScale(const LocalTensor<T>& vdeqTensor, const VdeqInfo& vdeqInfo)：用于CastDeq（isVecDeq=true）的场景。

函数原型

__aicore__ inline void SetDeqScale(half scale);

__aicore__ inline void SetDeqScale(float scale, int16_t offset, bool signMode);

template <typename T> __aicore__ inline void SetDeqScale(const LocalTensor<T>& vdeqTensor, const VdeqInfo& vdeqInfo);

参数说明

表1 参数说明
参数名	输入/输出	描述
scale（half）	输入	half类型，表示一个half类型的数据。 Atlas推理系列产品（Ascend 310P处理器）AI Core：用于AddDeqRelu指令设置DEQSCALE寄存器的值。 Atlas A2训练系列产品/Atlas 800I A2推理产品，用于Cast指令的s322f16场景设置DEQSCALE寄存器的值。
scale（float）	输入	float类型，表示一个float类型的数据。用于CastDeq（isVecDeq=false）场景设置DEQSCALE寄存器的值。
offset	输入	int16_t类型，表示一个s9类型的offset，入参只有前9位有效。用于CastDeq（isVecDeq=false）的场景，设置offset。
signMode	输入	bool类型，表示量化结果是否带符号。用于CastDeq（isVecDeq=false）的场景，设置signMode。
vdeqTensor	输入	类型为LocalTensor，支持的TPosition为VECIN/VECCALC/VECOUT。表示UB中的一个128 Byte的量化tensor，以32B为单位。用于CastDeq（isVecDeq=true）的场景，输入量化tensor。
vdeqInfo	输入	存储量化tensor信息的数据结构，结构体内包含量化tensor中的16组量化参数 const uint8_t VDEQ_TENSOR_SIZE = 16; struct VdeqInfo { __aicore__ VdeqInfo() {} __aicore__ VdeqInfo(const float vdeqScaleIn[VDEQ_TENSOR_SIZE], const int16_t vdeqOffsetIn[VDEQ_TENSOR_SIZE], const bool vdeqSignModeIn[VDEQ_TENSOR_SIZE]) { for (int32_t i = 0; i < VDEQ_TENSOR_SIZE; ++i) { vdeqScale[i] = vdeqScaleIn[i]; vdeqOffset[i] = vdeqOffsetIn[i]; vdeqSignMode[i] = vdeqSignModeIn[i]; } } float vdeqScale[VDEQ_TENSOR_SIZE] = { 0 }; int16_t vdeqOffset[VDEQ_TENSOR_SIZE] = { 0 }; bool vdeqSignMode[VDEQ_TENSOR_SIZE] = { 0 }; }; vdeqScale：float类型的数组，用于存储量化tensor中的scale参数scale₀-scale₁₅。 vdeqOffset：int16_t类型的数组，用于存储量化tensor中的offset参数offset₀-offset₁₅。 vdeqSignMode：bool类型的数组，用于存储量化tensor中的signMode参数signMode₀-signMode₁₅。

返回值

无

支持的型号

Atlas推理系列产品（Ascend 310P处理器）AI Core

Atlas A2训练系列产品/Atlas 800I A2推理产品

约束说明

无

调用示例

LocalTensor<int8_t> dstLocal;
LocalTensor<int16_t> srcLocal;
LocalTensor<uint64_t> tmpBuffer;
uint32_t srcSize = 256;

// Cast
LocalTensor<half> castDstLocal;
LocalTensor<int32_t> castSrcLocal;
half scale = 1.0;
SetDeqScale(scale);
Cast(castDstLocal, castSrcLocal, RoundMode::CAST_NONE, srcSize);

// CastDeq
float scale = 1.0;
int16_t offset = 0;
bool signMode = true;
SetDeqScale(scale, offset, signMode);
CastDeq<int8_t, int16_t, false, false>(dstLocal, srcLocal, srcSize);

// CastVdeq
float vdeqScale[16] = { 0 };
int16_t vdeqOffset[16] = { 0 };
bool vdeqSignMode[16] = { 0 };
for (int i = 0; i < 16; i++) {
    vdeqScale[i] = 1.0;
    vdeqOffset[i] = 0;
    vdeqSignMode[i] = true;
}
VdeqInfo vdeqInfo(vdeqScale, vdeqOffset, vdeqSignMode);
SetDeqScale<uint64_t>(tmpBuffer, vdeqInfo);
CastDeq<int8_t, int16_t, true, false>(dstLocal, srcLocal, srcSize);

父主题： 量化设置