下载
中文
注册

单算子API执行

  • 除本章中单算子API执行方式调用单算子,AscendCL还提供了基于单算子模型执行方式的单算子调用方式,详细请参见单算子调用方式:单算子模型执行、单算子API执行
  • 对于接口文档中未审明支持的场景(如产品型号、数据类型、数据格式等),不推荐用户使用,当前版本暂不保证其调用效果。

本章主要介绍如表1所示的算子API,提供了详细的接口介绍,包括接口原型、功能描述、参数说明、调用示例等,指导用户快速上手调用算子API。

算子接口的调用流程请参见单算子API执行接口调用流程,其调用示例(以NN算子调用为例)请参见调用NN/融合算子接口示例代码

表1 单算子API执行接口列表

接口分类

说明

接口获取

NN算子

Neural Network算子,CANN内置的基础算子,接口前缀为aclnnXxx,主要覆盖TensorFlow、Pytorch、MindSpore、ONNX等框架中深度学习算法相关的计算类型,例如常见的Softmax、MatMul、Convolution等。

参考算子加速库接口参考中“NN算子接口”。

融合算子

CANN内置的融合算子,接口前缀为aclnnXxx,由多个独立的基础“小算子”(如向量Vector、矩阵Cube等)融合成“大算子”,多个小算子功能与大算子功能等价,而大算子在性能或内存收益优于小算子。例如常见的Flash Attention、通算融合算子(简称MC2算子)等。

说明:

除了本文档提供的融合算子,您还可以单击Link访问Gitee cann-ops-adv仓获取代码开放的融合算子。

当前融合算子不支持使用昇腾虚拟化实例。

参考算子加速库接口参考中“融合算子接口”。

DVPP算子

Digital Vision Pre-Processing算子,接口前缀为acldvppXxx,提供高性能视频/图片编解码、图像裁剪缩放等预处理API。

参考算子加速库接口参考中“DVPP算子接口”。