EnQue
功能说明
将Tensor push到队列。
函数原型
- 无需指定源和目的位置
template <typename T> __aicore__ inline bool EnQue(const LocalTensor<T>& tensor)
- 需要指定源和目的位置
通过TQueBind绑定VECIN和VECOUT可实现VECIN和VECOUT内存复用,如下接口用于存在Vector计算的场景下实现复用,在入队时需要指定源和目的位置;不存在Vector计算的场景下可直接调用bool EnQue(LocalTensor<T>& tensor)入队接口。
1 2
template <TPosition srcUserPos, TPosition dstUserPos> __aicore__ inline bool EnQue(TBufHandle buf)
参数说明
参数名称 |
输入/输出 |
含义 |
---|---|---|
tensor |
输入 |
指定的Tensor |
参数名称 |
输入/输出 |
含义 |
---|---|---|
srcUserPos |
输入 |
模板参数,用户指定队列的src position,当前只支持如下通路:GM->VECIN/VECOUT->GM。 |
dstUserPos |
输入 |
模板参数,用户指定队列的dst position,当前只支持如下通路:GM->VECIN/VECOUT->GM。 |
tensor |
输入 |
指定的Tensor |
图1 将LocalTensor通过EnQue放入A1/B1的Queue中
支持的型号
Atlas 训练系列产品
Atlas推理系列产品AI Core
Atlas推理系列产品Vector Core
Atlas A2训练系列产品/Atlas 800I A2推理产品
Atlas 200/500 A2推理产品
注意事项
无
返回值
- true - 表示Tensor加入Queue成功
- false - 表示Queue已满,入队失败
调用示例
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 |
// 接口: EnQue Tensor AscendC::TPipe pipe; AscendC::TQue<AscendC::TPosition::VECOUT, 4> que; int num = 4; int len = 1024; pipe.InitBuffer(que, num, len); AscendC::LocalTensor<half> tensor1 = que.AllocTensor<half>(); que.EnQue(tensor1);// 将tensor加入VECOUT的Queue中 // 接口:EnQue指定特定的src/dst position,加入相应的队列 // template <TPosition srcUserPos, TPosition dstUserPos> bool EnQue(LocalTensor<T>& tensor) AscendC::TPipe pipe; AscendC::TQueBind<AscendC::QuePosition::VECIN, AscendC::QuePosition::VECOUT, 1> que; int num = 4; int len = 1024; pipe.InitBuffer(que, num, len); AscendC::LocalTensor<half> tensor1 = que.AllocTensor<half>(); que.EnQue<AscendC::QuePosition::GM, AscendC::QuePosition::VECIN, half>(tensor1);// 将tensor加入VECIN的Queue中,实现内存复用 |
父主题: TQue