高阶API列表
分类 |
接口名 |
功能描述 |
---|---|---|
数学库 |
按元素做反余弦函数计算。 |
|
按元素做双曲反余弦函数计算。 |
||
按元素做反正弦函数计算。 |
||
按元素做反双曲正弦函数计算。 |
||
按元素做三角函数反正切运算。 |
||
按元素做反双曲正切余弦函数计算。 |
||
源操作数中每个元素与标量求积后和目的操作数中的对应元素相加。 |
||
获取大于或等于x的最小的整数值,即向正无穷取整操作。 |
||
将srcTensor中大于scalar的数替换为scalar,小于等于scalar的数保持不变,作为dstTensor输出。 |
||
将srcTensor中小于scalar的数替换为scalar,大于等于scalar的数保持不变,作为dstTensor输出。 |
||
按元素做三角函数余弦运算。 |
||
按元素做双曲余弦函数计算。 |
||
对数据按行依次累加或按列依次累加。 |
||
按元素计算x的gamma函数的对数导数。 |
||
按元素做误差函数计算,也称为高斯误差函数。 |
||
返回输入x的互补误差函数结果,积分区间为x到无穷大。 |
||
按元素取自然指数。 |
||
获取小于或等于x的最小的整数值,即向负无穷取整操作。 |
||
按元素做取小数计算。 |
||
按元素计算x的gamma函数的绝对值并求自然对数。 |
||
按元素以e、2、10为底做对数运算。 |
||
实现按元素做幂运算功能。 |
||
将输入的元素四舍五入到最接近的整数。 |
||
按元素执行Sign操作,Sign是指返回输入数据的符号。 |
||
按元素做正弦函数计算。 |
||
按元素做双曲正弦函数计算。 |
||
按元素做正切函数计算。 |
||
按元素做逻辑回归Tanh。 |
||
按元素做浮点数截断操作,即向零取整操作。 |
||
按元素执行Xor(异或)运算。 |
||
量化反量化 |
按元素做伪量化计算,比如将int8_t数据类型伪量化为half数据类型。 |
|
按元素做反量化计算,比如将int32_t数据类型反量化为half/float等数据类型。 |
||
按元素做量化计算,比如将half/float数据类型量化为int8_t数据类型。 |
||
数据归一化 |
对于每个batch中的样本,对其输入的每个特征在batch的维度上进行归一化。 |
|
在深层神经网络训练过程中,可以替代LayerNorm的一种归一化方法。 |
||
将输入数据收敛到[0, 1]之间,可以规范网络层输入输出数据分布的一种归一化方法。 |
||
用于计算LayerNorm的反向传播梯度。 |
||
用于获取反向beta/gmma的数值,和LayerNormGrad共同输出pdx, gmma和beta。 |
||
实现对shape大小为[B,S,H]的输入数据的RmsNorm归一化。 |
||
激活函数 |
用于对SoftMax相关计算结果做后处理,调整SoftMax的计算结果为指定的值。 |
|
FastGelu化简版本的一种激活函数。 |
||
采用GeLU作为激活函数的GLU变体。 |
||
GELU是一个重要的激活函数,其灵感来源于relu和dropout,在激活中引入了随机正则的思想。 |
||
对输入tensor做LogSoftmax计算。 |
||
一种GLU变体,使用Relu作为激活函数。 |
||
按元素做逻辑回归Sigmoid。 |
||
按元素做Silu运算。 |
||
使用计算好的sum和max数据对输入tensor做softmax计算。 |
||
对输入tensor按行做Softmax计算。 |
||
SoftMax增强版本,除了可以对输入tensor做softmaxflash计算,还可以根据上一次softmax计算的sum和max来更新本次的softmax计算结果。 |
||
SoftmaxFlash增强版本,对应FlashAttention-2算法。 |
||
对输入tensor做grad反向计算的一种方法。 |
||
对输入tensor做grad反向计算的一种方法。 |
||
采用Swish作为激活函数的GLU变体。 |
||
神经网络中的Swish激活函数。 |
||
规约操作 |
根据最后一轴的方向对各元素求平均值。 |
|
按照元素执行Xor(按位异或)运算,并将计算结果ReduceSum求和。 |
||
获取最后一个维度的元素总和。 |
||
排序 |
获取最后一个维度的前k个最大值或最小值及其对应的索引。 |
|
对数据进行预处理,将要排序的源操作数srcLocal一一对应的合入目标数据concatLocal中,数据预处理完后,可以进行Sort。 |
||
处理Sort的结果数据,输出排序后的value和index。 |
||
排序函数,按照数值大小进行降序排序。 |
||
将已经排好序的最多4条队列,合并排列成1条队列,结果按照score域由大到小排序。 |
||
数据填充 |
将输入按照输出shape进行广播。 |
|
对height * width的二维Tensor在width方向上pad到32B对齐。 |
||
对height * width的二维Tensor在width方向上进行unpad。 |
||
数据过滤 |
提供根据MaskTensor对源操作数进行过滤的功能,得到目的操作数。 |
|
比较选择 |
给定两个源操作数src0和src1,根据maskTensor相应位置的值(非bit位)选取元素,得到目的操作数dst。 |
|
变形 |
对输入数据进行数据排布及Reshape操作。 |
|
索引操作 |
给定起始值,等差值和长度,返回一个等差数列。 |
|
Matmul |
Matmul矩阵乘法的运算。 |