如果AI应用中不仅仅包括模型推理,还有数学运算(例如BLAS基础线性代数运算)、数据类型转换等功能,也想使用昇腾的算力,昇腾CANN还能支持吗?
答案是肯定的,昇腾CANN提供了单算子调用的方式,直接通过AscendCL接口加载并执行单个算子,省去模型构建、训练的过程,相对轻量级,又可以使用昇腾的算力。
另外,自定义的算子,也可以通过单算子调用的方式来验证算子的功能。
在解释单算子调用与模型推理的差别前,我们先观察下面这个开发流程图,先找出基本的共同点、不同点。