Host侧tiling实现

Tiling实现基本流程

Tiling实现开发的流程图如下：

图2 Tiling开发流程图

下面将从一个简单的Add算子为例介绍Tiling的实现流程。本样例中待处理数据的Shape大小可以平均分配到每个核上，并且可以对齐到一个data block（32B）的大小。

首先完成算子TilingData结构定义头文件的编写，该文件命名为“算子名称_tiling.h”，位于算子工程的op_host目录下。样例代码如下：

#ifndef ADD_CUSTOM_TILING_H
#define ADD_CUSTOM_TILING_H
#include "register/tilingdata_base.h"

namespace optiling {
BEGIN_TILING_DATA_DEF(TilingData)               // 注册一个tiling的类，以tiling的名字作为入参
  TILING_DATA_FIELD_DEF(uint32_t, totalLength); // 添加tiling字段，总计算数据量
  TILING_DATA_FIELD_DEF(uint32_t, tileNum);     // 添加tiling字段，每个核上总计算数据分块个数
END_TILING_DATA_DEF;
// 注册算子tilingdata类到对应的AddCustom算子
REGISTER_TILING_DATA_CLASS(AddCustom, TilingData)
}
#endif // ADD_CUSTOM_TILING_H

具体的编写步骤如下：

1. 代码框架编写，需要增加#ifndef...的判断条件，防止头文件的重复包含；需要包含register/tilingdata_base.h头文件，tilingdata_base.h中定义了多个用于tilingdata注册的宏。样例代码如下：

   #ifndef ADD_CUSTOM_TILING_H
   #define ADD_CUSTOM_TILING_H
   #include "register/tilingdata_base.h"
   
   namespace optiling {
   // tiling结构定义和注册代码
   // ...
   }
   #endif // ADD_CUSTOM_TILING_H

2. TilingData参数设计，TilingData参数本质上是和并行数据切分相关的参数，本示例算子使用了2个tiling参数：totalLength、tileNum。totalLength是指需要计算的数据量大小，tileNum是指每个核上总计算数据分块个数。比如，totalLength这个参数传递到kernel侧后，可以通过除以参与计算的核数，得到每个核上的计算量，这样就完成了多核数据的切分。
3. TilingData结构定义，通过BEGIN_TILING_DATA_DEF接口定义一个TilingData的类，通过TILING_DATA_FIELD_DEF接口增加TilingData的两个字段totalLength、tileNum，通过END_TILING_DATA_DEF接口结束TilingData定义。相关接口的详细说明请参考TilingData结构定义。

   BEGIN_TILING_DATA_DEF(TilingData)               // 注册一个tiling的类，以tiling的名字作为入参
     TILING_DATA_FIELD_DEF(uint32_t, totalLength); // 添加tiling字段，总计算数据量
     TILING_DATA_FIELD_DEF(uint32_t, tileNum);     // 添加tiling字段，每个核上总计算数据分块个数
   END_TILING_DATA_DEF;

4. 注册TilingData结构，通过REGISTER_TILING_DATA_CLASS接口，注册TilingData类，和自定义算子相关联。REGISTER_TILING_DATA_CLASS第一个参数为op_type(算子类型)，本样例中传入AddCustom，第二个参数为TilingData的类名。REGISTER_TILING_DATA_CLASS接口介绍请参考TilingData结构注册。

   // 注册算子tilingdata类到对应的AddCustom算子
   REGISTER_TILING_DATA_CLASS(AddCustom, TilingData)

namespace optiling {
const uint32_t BLOCK_DIM = 8;
const uint32_t TILE_NUM = 8;
static ge::graphStatus TilingFunc(gert::TilingContext *context)
{
    TilingData tiling;
    uint32_t totalLength = context->GetInputShape(0)->GetOriginShape().GetShapeSize();
    context->SetBlockDim(BLOCK_DIM);
    tiling.set_totalLength(totalLength);
    tiling.set_tileNum(TILE_NUM);
    tiling.SaveToBuffer(context->GetRawTilingData()->GetData(), context->GetRawTilingData()->GetCapacity());
    context->GetRawTilingData()->SetDataSize(tiling.GetDataSize());
    size_t *currentWorkspace = context->GetWorkspaceSizes(1);
    currentWorkspace[0] = 0;
    return ge::GRAPH_SUCCESS;
}
} // namespace optiling

具体步骤如下：

1. 获取TilingContext的上下文，即Tiling函数的入参gert::TilingContext* context。
2. 设置TilingData。上文3中，定义了TilingData的类，此时可以用TilingData定义一个具体的实例，通过调用TilingData类的set_+field_name接口来设置TilingData的字段值，通过调用TilingData类的SaveToBuffer接口完成TilingData的序列化和保存。
   1. 通过上下文获取输入输出shape信息。本样例中通过TilingContext的GetInputTensor接口获取输入Tensor，再通过Tensor类的GetShapeSize获取当前Tensor的shape大小。

      // 获取输入shape信息
      uint32_t totalLength = context->GetInputShape(0)->GetOriginShape().GetShapeSize();

   2. 设置TilingData。通过调用set_+field_name方法来设置TilingData的字段值。

      // 用TilingData定义一个具体的实例
      TilingData tiling;
      // 设置TilingData
      tiling.set_totalLength(totalLength);
      tiling.set_tileNum(TILE_NUM);

   3. 调用TilingData类的SaveToBuffer接口完成序列化并保存至TilingContext上下文。SaveToBuffer的第一个参数为存储Buffer的首地址，第二个参数为Buffer的长度。通过调用GetRawTilingData获取无类型的TilingData的地址，再通过GetData获取数据指针，作为Buffer的首地址；通过调用GetRawTilingData获取无类型的TilingData的地址，再通过GetCapacity获取TilingData的长度，作为Buffer的长度。完成SaveToBuffer操作后需要通过SetDataSize设置TilingData的长度，该长度通过TilingData类的GetDataSize接口获取。

      // 序列化并保存
      tiling.SaveToBuffer(context->GetRawTilingData()->GetData(), context->GetRawTilingData()->GetCapacity());
      context->GetRawTilingData()->SetDataSize(tiling.GetDataSize());

3. 通过SetBlockDim接口设置blockdim。

   context->SetBlockDim(BLOCK_DIM);

4. （可选）通过SetTilingKey设置TilingKey。

   context->SetTilingKey(1);

5. （可选）通过GetWorkspaceSizes获取workspace size指针，并设置size大小。此处仅作为举例，设置workspace的大小为0。

   size_t *currentWorkspace = context->GetWorkspaceSizes(1);
   currentWorkspace[0] = 0;

Tiling参数设计更多样例-属性信息通过TilingData传递

如果算子包含属性信息，该属性信息可以通过TilingData传递到kernel侧，参与kernel侧算子核函数的计算。以ReduceMaxCustom算子为例，该算子用于对输入数据按维度dim返回最大值，并且返回索引。ReduceMaxCustom算子有两个属性，reduceDim和isKeepDim，reduceDim表示按照哪一个维度进行reduce操作；isKeepDim表示是否需要保持输出的维度与输入一样。本样例仅支持对最后一维做reduce操作，输入数据类型为half。

1. ReduceMaxCustom算子TilingData的定义如下：这里我们重点关注reduceAxisLen。参数reduceAxisLen表示获取reduceDim轴的长度，这里也就是最后一维的长度。该参数后续会通过TilingData传递到kernel侧参与计算。

   #ifndef REDUCE_MAX_CUSTOM_TILING_H
   #define REDUCE_MAX_CUSTOM_TILING_H
   #include "register/tilingdata_base.h"
   namespace optiling {
   BEGIN_TILING_DATA_DEF(ReduceMaxTilingData)
     TILING_DATA_FIELD_DEF(uint32_t, reduceAxisLen); // 添加tiling字段，reduceDim轴的长度
     //其他TilingData参数的定义
     ...
   END_TILING_DATA_DEF;
   // 注册算子tilingdata类到对应的ReduceMaxCustom算子
   REGISTER_TILING_DATA_CLASS(ReduceMaxCustom, ReduceMaxTilingData)
   }
   #endif // REDUCE_MAX_CUSTOM_TILING_H

2. ReduceMaxCustom算子的Tiling实现如下。这里我们重点关注属性信息通过TilingData传递的过程：首先通过TilingContext上下文从attr获取reduceDim属性值；然后根据reduceDim属性值获取reduceDim轴的长度并设置到TilingData中。

   namespace optiling {
   static ge::graphStatus TilingFunc(gert::TilingContext* context)
   {
       ReduceMaxTilingData tiling;
       // 从attr获取reduceDim属性值，因为reduceDim是第一个属性，所以GetAttrPointer传入的索引值为0
       const gert::RuntimeAttrs* attrs = context->GetAttrs();
       const uint32_t* reduceDim = attrs->GetAttrPointer<uint32_t>(0);
       // 获取reduceDim轴的长度
       const gert::StorageShape* xShapePtr = context->GetInputShape(0);
       const gert::Shape& xShape = xShapePtr->GetStorageShape();
       const uint32_t reduceAxisLen = xShape.GetDim(*reduceDim);
       // 计算TilingData中除了reduceAxisLen之外其他成员变量的值
       ...
       // 将reduceAxisLen设置到tiling结构体中，传递到kernel函数使用
       tiling.set_reduceAxisLen(reduceAxisLen);
       // 设置TilingData中除了reduceAxisLen之外其他成员变量的值
       ...
       // TilingData序列化保存
       tiling.SaveToBuffer(context->GetRawTilingData()->GetData(), context->GetRawTilingData()->GetCapacity());
       context->GetRawTilingData()->SetDataSize(tiling.GetDataSize());
       ...
       return ge::GRAPH_SUCCESS;
   }} // namespace optiling

Tiling参数设计更多样例-使用高阶API时配套的Tiling

1. 首先进行tiling结构定义：

   namespace optiling {
   BEGIN_TILING_DATA_DEF(MyAddTilingData)  // 声明tiling结构名字
     TILING_DATA_FIELD_DEF_STRUCT(TCubeTiling, cubeTilingData);   // 引用高阶API的tiling结构体
     TILING_DATA_FIELD_DEF(uint32_t, field);   // 结构成员的引用结构体
   END_TILING_DATA_DEF;
   REGISTER_TILING_DATA_CLASS(MyAdd, MyAddTilingData)  // tiling结构注册给算子
   }

2. 通过高阶API配套的tiling函数对tiling结构初始化：

   static ge::graphStatus TilingFunc(gert::TilingContext* context) {
       int32_t M = 1024;
       int32_t N = 640;
       int32_t K = 256;
       int32_t baseM = 128;
       int32_t baseN = 128;
       auto ascendcPlatform = platform_ascendc::PlatformAscendC(context->GetPlatformInfo());
       MultiCoreMatmulTiling cubeTiling(ascendcPlatform);
       cubeTiling.SetDim(2);
       cubeTiling.SetAType(TPosition::GM, CubeFormat::ND, matmul_tiling::DataType::DT_FLOAT16);
       cubeTiling.SetBType(TPosition::GM, CubeFormat::ND, matmul_tiling::DataType::DT_FLOAT16);
       cubeTiling.SetCType(TPosition::LCM, CubeFormat::ND, matmul_tiling::DataType::DT_FLOAT);
       cubeTiling.SetBiasType(TPosition::GM, CubeFormat::ND, matmul_tiling::DataType::DT_FLOAT);
       cubeTiling.SetShape(M, N, K);
       cubeTiling.SetOrgShape(M, N, K);
       cubeTiling.SetFixSplit(baseM, baseN, -1);
       cubeTiling.SetBias(true);
       cubeTiling.SetBufferSpace(-1, -1, -1);
       MyAddTilingData tiling;
       if (cubeTiling.GetTiling(tiling.cubeTilingData) == -1){
           return ge::GRAPH_FAILED;
       }
       // some code
   }