下载
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助
昇腾小AI

SetFixPipeConfig

功能说明

DataCopy(CO1->GM、CO1->A1)过程中进行随路量化时,通过调用该接口设置量化流程中tensor量化参数。

函数原型

1
2
3
4
template <typename T>
__aicore__ inline void SetFixPipeConfig(const LocalTensor<T> &reluPre, const LocalTensor<T> &quantPre, bool isUnitFlag = false)
template <typename T, bool setRelu = false>
__aicore__ inline void SetFixPipeConfig(const LocalTensor<T> &preTensor, bool isUnitFlag = false)

参数说明

表1 模板参数说明

参数名

描述

T

操作数的数据类型。

setRelu

针对设置一个tensor的情况,当setRelu为true时,设置reluPreTensor;反之设置quantPreTensor。当前仅支持设置为false。

表2 参数说明

参数名称

输入/输出

含义

reluPre

输入

源操作数,relu tensor,类型为LocalTensor,支持的TPosition为C2PIPE2GM。

预留参数,暂未启用,为后续的功能扩展做保留,传入一个空LocalTensor即可。

quantPre

输入

源操作数,quant tensor,类型为LocalTensor,支持的TPosition为C2PIPE2GM。

isUnitFlag

输入

UnitFlag配置项,类型为bool。预留参数,暂未启用,为后续的功能扩展做保留,保持默认值false即可。

preTensor

输入

支持设置一个Tensor,通过开关控制是relu Tensor还是quantTensor,支持的TPosition为C2PIPE2GM。当前仅支持传入quantTensor。

注意事项

无。

支持的型号

Atlas A2训练系列产品/Atlas 800I A2推理产品

Atlas 200/500 A2推理产品

返回值

调用示例

完整示例可参考完整示例

1
2
3
4
5
__aicore__inline void SetFPC(const LocalTensor <int32_t>& reluPreTensor, const LocalTensor <int32_t>& quantPreTensor)
{
    AscendC::SetFixPipeConfig<int32_t, true>(reluPreTensor);
    AscendC::SetFixPipeConfig<int32_t>(reluPreTensor, quantPreTensor);
}
搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词