文档
注册

host侧算子实现概述

host侧算子实现开发包括Tiling实现、Shape推导等函数实现、算子原型注册。具体介绍如下:

  • Tiling实现,计算数据切分过程相关的参数,比如每次计算的数据量大小。
  • Shape推导等函数实现,根据算子的输入张量描述、算子逻辑及算子属性,推理出算子的输出张量描述,包括张量的Shape、数据类型及数据排布格式等信息。这样算子构图准备阶段就可以为所有的张量静态分配内存,避免动态内存分配带来的开销。
  • 算子原型注册,除了上述函数的开发,还需要进行算子原型定义,原型定义描述了算子的输入输出、属性等信息以及算子在AI处理器上相关实现信息,算子原型注册会关联算子原型定义和上述Tiling实现、Shape推导等函数,将其组合成一个整体。

上述内容均在host侧的算子类中实现,完成上述实现后,需要通过OP_ADD接口,将该算子类注册到算子原型库中。举例如下:

OP_ADD(AddCustom); // 此处AddCustom即为host侧的算子类

下文的介绍仅呈现代码片段,您可以点击LINK,在op_host目录下获取完整样例代码,并在op_kernel中获取对应的kernel侧实现。您可以点击LINK获取Add算子的单算子调用程序样例,来完成算子的调用和验证。

搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词