使用前必读
本章在于演示部署并执行一个基于某模型的NPU推理任务。生产环境与示例存在差异,本章节仅做参考,用户需要根据实际生产环境做修改。
- 推理卡故障恢复特性可以搭配整卡调度特性一起使用,开启整卡故障恢复特性只需要将Ascend Device Plugin的启动参数“-hotReset”取值设置为“0”(默认为“-1”,不支持故障恢复功能)。
- 静态vNPU调度特性可以搭配算力虚拟化特性一起使用,关于静态虚拟化的相关说明和操作请参见静态虚拟化。
仅支持Atlas 推理系列产品使用静态vNPU调度,不支持推理服务器(插Atlas 300I 推理卡)使用静态vNPU调度。
场景说明
整卡调度或静态vNPU调度特性的使用场景如下:
- 通过命令行使用:安装集群调度组件,通过命令行使用整卡调度特性。
- 集成后使用:将集群调度组件集成到已有的第三方AI平台或者基于集群调度组件开发的AI平台。
前提条件
使用流程
全流程使用整卡调度或静态vNPU调度特性可以参见图1。
通过命令行使用Volcano和其他调度器的使用流程一致,主要区别在使用其他调度器准备任务yaml需要参考通过命令行使用(其他调度器)章节创建任务yaml。使用其他调度器的其余操作和使用Volcano一致,可以参考通过命令行使用(Volcano)进行操作。
父主题: 整卡调度或静态vNPU调度