下载
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助
昇腾小AI

使用前必读

本章在于演示如何部署并执行一个基于某模型的NPU推理任务。生产环境与示例存在差异,本章节仅做参考,用户需要根据实际生产环境做修改。动态vNPU调度特性可以搭配算力虚拟化特性一起使用,关于动态虚拟化的相关说明和操作请参见动态虚拟化

仅支持Atlas 推理系列产品使用动态vNPU调度,不支持推理服务器(插Atlas 300I 推理卡)使用动态vNPU调度。

场景说明

动态vNPU调度特性的使用场景如下:

  • 通过命令行使用:安装集群调度组件,通过命令行使用动态vNPU调度特性。
  • 集成后使用:将集群调度组件集成到已有的第三方AI平台或者基于集群调度组件开发的AI平台。

前提条件

在命令行场景下使用动态vNPU调度特性,需要确保已经安装如下组件;若没有安装,可以参考MindX DL 集群调度安装指南中的“安装部署”章节进行操作。动态vNPU调度特性只支持使用Volcano作为调度器,不支持使用其他调度器。
  • Volcano
  • Ascend Device Plugin
  • Ascend Docker Runtime

使用流程

全流程使用动态vNPU调度特性可以参见图1

图1 使用流程
搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词