完成自定义算子的开发部署后,可以通过单算子调用的方式来验证单算子的功能。单算子调用有API执行和模型执行两种方式:
两种方式对于自定义算子的开发部署有不同的约束要求,如表1所示。单算子调用前,需要根据表中的约束要求完成前期准备:参考Kernel侧算子实现完成kernel侧实现的相关准备,参考Host侧算子实现完成host侧实现相关准备,参考算子编译部署完成算子的编译部署。
单算子调用方式 |
kernel侧算子实现 |
host侧算子实现 |
算子编译部署 |
|||
原型注册 |
Shape、DataType推导 |
Tiling实现 |
算子源码编译 |
算子二进制编译 |
||
单算子API执行 |
必选 |
必选 |
- |
必选 |
- |
开启 |
单算子模型执行 |
必选 |
必选 |
必选 |
必选 |
开启 |
- |
本章内容仅提供通过两种方式调用自定义算子的样例和基础内容讲解,单算子调用应用开发的详细内容请参考单算子调用。