下载
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助
昇腾小AI

使用前必读

本章在于演示部署并执行一个基于某模型的NPU推理任务。生产环境与示例存在差异,本章节仅做参考,用户需要根据实际生产环境做修改。

  • 推理卡故障恢复特性可以搭配整卡调度特性一起使用,开启整卡故障恢复特性只需要将Ascend Device Plugin的启动参数“-hotReset”取值设置为“0”(默认为“-1”,不支持故障恢复功能)。
  • 静态vNPU调度特性可以搭配算力虚拟化特性一起使用,关于静态虚拟化的相关说明和操作请参见静态虚拟化

    仅支持Atlas 推理系列产品使用静态vNPU调度,不支持推理服务器(插Atlas 300I 推理卡)使用静态vNPU调度。

场景说明

整卡调度或静态vNPU调度特性的使用场景如下:

  • 通过命令行使用:安装集群调度组件,通过命令行使用整卡调度特性。
  • 集成后使用:将集群调度组件集成到已有的第三方AI平台或者基于集群调度组件开发的AI平台。

前提条件

在命令行场景下使用整卡调度和静态vNPU调度特性,需要确保已经安装如下组件;若没有安装,可以参考MindX DL 集群调度安装指南中的“安装部署”章节进行操作。
  • Volcano
  • Ascend Device Plugin
  • Ascend Docker Runtime

使用流程

全流程使用整卡调度或静态vNPU调度特性可以参见图1

通过命令行使用Volcano和其他调度器的使用流程一致,主要区别在使用其他调度器准备任务yaml需要参考通过命令行使用(其他调度器)章节创建任务yaml。使用其他调度器的其余操作和使用Volcano一致,可以参考通过命令行使用(Volcano)进行操作。

图1 使用流程
搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词