简介

单算子调用的使用场景

如果AI应用中不仅仅包括模型推理，还有数学运算（例如BLAS基础线性代数运算）、数据类型转换等功能，也想使用昇腾的算力，昇腾CANN还能支持吗？

答案是肯定的，昇腾CANN提供了单算子调用的方式，直接通过AscendCL接口加载并执行单个算子，省去模型构建、训练的过程，相对轻量级，又可以使用昇腾的算力。

另外，自定义的算子，也可以通过单算子调用的方式来验证算子的功能。

单算子调用与模型推理的差别

在解释单算子调用与模型推理的差别前，我们先观察下面这个开发流程图，先找出基本的共同点、不同点。

• 共同点：
  • 不管是模型推理，还是单算子调用，都需要AscendCL初始化和去初始化、运行管理资源申请和释放。
  • 不管是模型推理，还是单算子调用，都涉及加载、执行的步骤，但是要注意，两者的加载、执行是调用不同的AscendCL接口。
• 不同点：
  • 模型推理涉及模型卸载的步骤，单算子调用不涉及。