配置NPU共享模式
Atlas 500 智能小站和Atlas 200 RC场景支持NPU共享模式,即支持多个容器共享同一块芯片的NPU资源,这样同一块芯片可以运行多个容器跑不同的推理业务。默认关闭NPU共享模式,可以通过以下两种方式开启NPU共享模式:
- Atlas 500 智能小站的NPU共享模式支持配置持久化。
- Atlas 200 RC场景的NPU共享模式不支持配置持久化,设备复位后需要重新配置。
- 关闭NPU共享模式后,容器将会以独占的方式占用NPU,会对容器运行产生影响,请谨慎操作。
- 如果版本回退到不支持NPU共享模式的版本(MindX Edge V100R020C10版本及之前版本),不能保证回退前部署的共享同一NPU资源的多个容器在回退后正常运行,请谨慎操作。
- 通过FusionDirector方式:
- 在FusionDirector界面上方选择 ,进入边缘设备管理界面。
- 在边缘设备列表中勾选一个或多个需要开启NPU共享模式的设备,在页面右上角的“更多”下拉菜单中选择“NPU共享模式”,单击“开启”。
开启任务将出现在界面右上角任务列表中。
如果用户需要关闭NPU共享模式,请单击“关闭”,关闭任务将出现在界面右上角任务列表中。
- 通过命令行方式:
npu-smi set -t device-share -i 0 -c 0 -d 1
如果用户需要关闭NPU共享模式,请将-d参数取值修改为0。
可执行以下命令查询NPU共享状态:
npu-smi info -t device-share -i 0 -c 0
父主题: 附录