简介

随着AI的高速发展，特别是2023年GPT大模型的生产级可用，产生了巨大经济价值，同时以GPT为代表的Transformer模型百花齐放，触发了对AI设备的巨大需求。昇腾设备作为AI的底座，为了发挥它的最大性能，我们开发了面向Transformer模型的加速库（Ascend Transformer Boost），提高Transformer模型性能，提供了基础的高性能的算子，高效的算子组合技术（Graph），方便模型加速。各类模型推理框架可以使用，目前用户有PyTorch、MindSpore、Paddle。

Transformer推理加速库（Ascend Transformer Boost）为实现基于Transformer的神经网络推理加速引擎库，库中包含了各类Transformer类模型的高度优化模块，如Encoder和Decoder部分。