昇腾社区首页
中文
注册

单算子API执行

  • 除本章中单算子API执行方式调用单算子,AscendCL还提供了基于单算子模型执行方式的单算子调用方式,详细请参见单算子调用方式:单算子模型执行、单算子API执行
  • 对于接口文档中未审明支持的场景(如产品型号、数据类型、数据格式等),不推荐用户使用,当前版本暂不保证其调用效果。

本章介绍了支持以单算子API执行方式调用算子的接口,如表1所示,提供了详细的接口介绍,包括接口原型、功能描述、参数说明、调用示例等,指导用户快速上手调用算子API,以支撑AI业务的高效应用开发。

算子接口的调用流程请参见单算子API执行接口调用流程,其调用示例(以NN算子调用为例)请参见调用NN/融合算子接口示例代码

表1 算子接口列表

接口分类

说明

接口获取

NN算子接口

Neural Network算子,CANN内置的基础算子,接口前缀为aclnnXxx,主要覆盖TensorFlow、Pytorch、MindSpore、ONNX等框架中深度学习算法相关的计算类型,例如常见的Softmax、MatMul、Convolution等。

参考AOL算子加速库接口参考中“NN算子接口”。

融合算子接口

CANN内置的融合算子,接口前缀为aclnnXxx,由多个独立的基础“小算子”(如向量Vector、矩阵Cube等)融合而成,大算子功能与多个小算子功能等价,且大算子性能收益往往优于小算子。例如常见的Flash Attention、通算融合算子(简称MC2算子)等。

说明:

除了本文档提供的融合算子,您还可以单击Link访问Gitee cann-ops-adv仓获取代码开放的融合算子。

当前融合算子不支持使用昇腾虚拟化实例

参考AOL算子加速库接口参考中“融合算子接口”。

DVPP算子接口

Digital Vision Pre-Processing算子,接口前缀为acldvppXxx,提供高性能视频/图片编解码、图像裁剪缩放等预处理API。

参考AOL算子加速库接口参考中“DVPP算子接口”。