使用前必读
本章在于演示如何部署并执行一个基于某模型的NPU推理任务。生产环境与示例存在差异,本章节仅做参考,用户需要根据实际生产环境做修改。动态vNPU调度特性可以搭配算力虚拟化特性一起使用,关于动态虚拟化的相关说明和操作请参见动态虚拟化。
仅支持Atlas 推理系列产品使用动态vNPU调度,不支持推理服务器(插Atlas 300I 推理卡)使用动态vNPU调度。
场景说明
动态vNPU调度特性的使用场景如下:
- 通过命令行使用:安装集群调度组件,通过命令行使用动态vNPU调度特性。
- 集成后使用:将集群调度组件集成到已有的第三方AI平台或者基于集群调度组件开发的AI平台。
前提条件
父主题: 动态vNPU调度