GetAscendAntiQuantMaxMinTmpSize

功能说明

kernel侧AscendAntiQuant接口的计算需要开发者预留/申请临时空间，本接口用于在host侧获取预留/申请的最大最小临时空间大小，开发者基于此范围选择合适的空间大小作为Tiling参数传递到kernel侧使用。

为保证功能正确，预留/申请的临时空间大小不能小于最小临时空间大小；
在最小临时空间-最大临时空间范围内，随着临时空间增大，kernel侧接口计算性能会有一定程度的优化提升。为了达到更好的性能，开发者可以根据实际的内存使用情况进行空间预留/申请。

函数原型

      
           void GetAscendAntiQuantMaxMinTmpSize(const ge::Shape &srcShape, const ge::Shape &scaleShape, bool isTranspose, ge::DataType inputDataType, ge::DataType outputDataType, uint32_t &maxValue, uint32_t &minValue)

      
           uint32_t GetAscendAntiQuantMaxTmpSize(const ge::Shape &srcShape, const ge::Shape &scaleShape, bool isTranspose, ge::DataType inputDataType, ge::DataType outputDataType)

      
           uint32_t GetAscendAntiQuantMinTmpSize(const ge::Shape &srcShape, const ge::Shape &scaleShape, bool isTranspose, ge::DataType inputDataType, ge::DataType outputDataType)

参数说明

表1 接口参数列表
参数名	输入/输出	描述
srcShape	输入	输入src的shape信息。
scaleShape	输入	输入scale的shape信息。
isTranspose	输入	是否转置。
inputDataType	输入	输入数据类型。
outputDataType	输入	输出数据类型。
maxValue	输出	AscendAntiQuant接口能完成计算所需的最大临时空间大小，超出该值的空间不会被该接口使用。在最小临时空间-最大临时空间范围内，随着临时空间增大，kernel侧接口计算性能会有一定程度的优化提升。为了达到更好的性能，开发者可以根据实际的内存使用情况进行空间预留/申请。最大空间大小为0表示计算不需要临时空间。说明： maxValue仅作为参考值，有可能大于Unified Buffer剩余空间的大小，该场景下，开发者需要根据Unified Buffer剩余空间的大小来选取合适的临时空间大小。
minValue	输出	AscendAntiQuant接口能完成计算所需最小临时空间大小。为保证功能正确，接口计算时预留/申请的临时空间不能小于该数值。最小空间大小为0表示计算不需要临时空间。

返回值

GetAscendAntiQuantMaxMinTmpSize：无

GetAscendAntiQuantMaxTmpSize：AscendAntiQuant接口能完成计算所需的最大临时空间大小

GetAscendAntiQuantMinTmpSize：AscendAntiQuant接口能完成计算所的需最小临时空间大小

支持的型号

Atlas A2训练系列产品/Atlas 800I A2推理产品

Atlas推理系列产品AI Core

调用示例

uint32_t maxValue = 0;
uint32_t minValue = 0;
std::vector<int64_t> srcDims = { 64, 512 };
auto srcShape = ge::Shape(srcDims);
std::vector<int64_t> scaleDims = { 1, 512 };
auto scaleShape = ge::Shape(scaleDims);
bool isTranspose = false;
AscendC::GetAscendAntiQuantMaxMinTmpSize(srcShape, scaleShape, isTranspose, ge::DT_INT8, ge::DT_BF16, maxValue, minValue);

父主题： 量化反量化