下载
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助
昇腾小AI

WaitIterateBatch

功能说明

等待IterateBatch异步接口返回,支持连续输出到Global Memory。

函数原型

1
__aicore__ inline void WaitIterateBatch()

参数说明

参数名

输入/输出

描述

NA

返回值

支持的型号

Atlas A2训练系列产品/Atlas 800I A2推理产品

注意事项

  • 配套IterateBatch异步接口使用。
  • 仅支持连续输出至Global Memory。

调用示例

matmul::Matmul<aType, bType, cType, biasType> mm;
mm.SetTensorA(queryGm[tensorACoreOffset]);
mm.SetTensorB(keyGm[tensorBCoreOffset + sInnerStart * singleProcessSInnerSize *
      tilingData->attentionScoreOffestStrideParams.matmulHead], true);
mm.SetTail(singleProcessSOuterSize, mmNNum);
mm.template IterateBatch<false>(workspaceGm[tmp_block_idx * mmResUbSize * sInnerLoopTimes],batchA, batchB, false);
// do some others compute
mm.WaitIterateBatch(); // 等待IterateBatch完成
DataCopy(dstUB, GM);  // 进行GM到UB的拷贝
搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词