工具部署架构

产品形态介绍

产品形态不同，AMCT部署架构不同，下面先介绍产品形态，然后分场景介绍不同产品形态下AMCT的部署架构。

以昇腾 AI 处理器的PCIe的工作模式进行区分，如果PCIe工作在主模式，可以扩展外设，则称为RC模式；如果PCIe工作在从模式，则称为EP模式。

• 昇腾 AI 处理器的工作模式如下：
  • Atlas 200/300/500 推理产品有EP和RC两种模式。
  • Atlas 200I/500 A2 推理产品 有EP和RC两种模式。
  • Atlas 推理系列产品只有EP模式。
  • Atlas 训练系列产品只有EP模式。
  • Atlas A2 训练系列产品 只有EP模式。
• 支持RC模式的产品：Atlas 200 AI加速模块、Atlas 200 DK 开发者套件。

  产品的CPU直接运行用户指定的AI业务软件，接入网络摄像头、I²C传感器、SPI显示器等其他外挂设备作为从设备接入产品。

• 支持EP模式的产品：

  Atlas 200/300/500 推理产品：Atlas 200 AI加速模块、Atlas 300I 推理卡、Atlas 500 智能小站、Atlas 500 Pro 智能边缘服务器、Atlas 800 推理服务器。

  Atlas 200I/500 A2 推理产品 ：Atlas 500 A2 智能小站、Atlas 200I DK A2 开发者套件、Atlas 200I A2 加速模块。

  Atlas 推理系列产品：Atlas 300I Pro 推理卡。

  Atlas 训练系列产品：Atlas 800 训练服务器、Atlas 300T 训练卡。

  Atlas A2 训练系列产品 ：Atlas 800T A2 训练服务器、Atlas 900 A2 PoD 集群基础单元、Atlas 200T A2 Box16 异构子框。

  EP模式通常由Host侧作为主端，Device侧作为从端。客户的AI业务程序运行在Host系统中，产品作为Device系统以PCIe从设备接入Host系统，Host系统通过PCIe通道与Device系统交互，将AI任务加载到Device侧的昇腾 AI 处理器中运行。

两种模式的产品及架构如图1所示。

Host和Device的概念说明如下：

• Host：是指与昇腾AI处理器所在硬件设备相连接的X86服务器、ARM服务器，利用昇腾AI处理器提供的NN（Neural-Network）计算能力完成业务。
• Device：是指安装了昇腾AI处理器的硬件设备，利用PCIe接口与服务器连接，为服务器提供NN计算能力。

图1 RC和EP模式

Ascend EP产品形态部署架构

AMCT部署架构如图2所示，支持部署部署的操作系统请参见支持的OS清单。使用该工具量化完的模型，需要借助ATC工具转换成适配昇腾AI处理器的离线模型，然后完成推理操作。

图2 Ascend EP部署架构

1. 用户需要先在满足要求的服务器部署AMCT，完成模型压缩操作。
2. 用户将压缩后的模型，借助ATC工具转换成适配昇腾AI处理器的离线模型。
3. 将2中的.om离线模型，在安装昇腾AI处理器的服务器完成推理业务。

Ascend RC产品形态部署架构

AMCT部署架构如图3所示，当前仅支持在Ubuntu 20.04 aarch64或18.04 aarch64架构操作系统进行部署，配套信息请参见系统要求和环境检查。使用该工具量化完的模型，需要借助ATC工具转换成适配昇腾AI处理器的离线模型，然后完成推理操作。

图3 Ascend RC部署架构

1. 用户需要先在Ubuntu aarch64架构服务器部署AMCT，完成模型压缩操作。
2. 用户将压缩后的模型，借助ATC工具转换成适配昇腾AI处理器的离线模型。
3. 将2中的.om离线模型，在安装昇腾AI处理器的服务器完成推理业务。