简介

概述

随着AI的高速发展，特别是2023年GPT大模型的生产级可用，AI行业产生了巨大的经济价值。以GPT为代表的Transformer模型百花齐放，触发了对AI设备的巨大需求。

Ascend Transformer Boost加速库（下文简称为ATB加速库）是一款高效、可靠的加速库，基于华为Ascend AI处理器，专门为Transformer模型的训练和推理而设计。

ATB加速库采用了一系列优化策略，包括算法优化、硬件优化和软件优化，能够显著提升Transformer模型的训练和推理速度，同时降低能耗和成本。具体来说，ATB加速库通过优化矩阵乘法等核心算子和注意力机制的实现方式，实现了对Transformer模型的高效加速。此外，ATB加速库还充分利用了Ascend AI处理器的硬件特性，如算力、存储带宽和内存带宽，通过硬件加速和数据重用等技术，进一步提升了性能和效率。ATB加速库目前提供了底层基础的高性能算子以及高效的算子组合技术（Graph图算子），同时上层支持对接多种模型框架如PyTorch、MindSpore、Paddle。

总而言之，ATB加速库中包含了各类Transformer类模型的高度优化模块，在各种应用场景中发挥重要作用，为模型的训练和推理提供了强有力的支持。

软件架构

加速库接口功能主要分成三部分：

• 提供基础原生的算子（Operation），用户可以根据需求使用对应的算子完成计算功能。
• 提供插件（Plugin）机制，用户可以根据自己的需求创建自定义的算子。
• 提供图算子（Graph）机制，用户根据模型设计对应的图算子，使用加速库提供的原生算子和创建的自定义算子创建图算子，完成相应的计算。