文档
注册

配置NPU共享模式

Atlas 500 智能小站和Atlas 200 RC场景支持NPU共享模式,即支持多个容器共享同一块芯片的NPU资源,这样同一块芯片可以运行多个容器跑不同的推理业务。默认关闭NPU共享模式,可以通过以下两种方式开启NPU共享模式:

  • Atlas 500 智能小站的NPU共享模式支持配置持久化。
  • Atlas 200 RC场景的NPU共享模式不支持配置持久化,设备复位后需要重新配置。
  • 关闭NPU共享模式后,容器将会以独占的方式占用NPU,会对容器运行产生影响,请谨慎操作。
  • 如果版本回退到不支持NPU共享模式的版本(MindX Edge V100R020C10版本及之前版本),不能保证回退前部署的共享同一NPU资源的多个容器在回退后正常运行,请谨慎操作。
  • 通过FusionDirector方式:
    1. 在FusionDirector界面上方选择菜单 > 设备 > 设备列表 > 边缘设备,进入边缘设备管理界面。
    2. 在边缘设备列表中勾选一个或多个需要开启NPU共享模式的设备,在页面右上角的“更多”下拉菜单中选择“NPU共享模式”,单击“开启”

      开启任务将出现在界面右上角任务列表中。

      如果用户需要关闭NPU共享模式,请单击“关闭”,关闭任务将出现在界面右上角任务列表中。

  • 通过命令行方式:

    请在宿主机上执行以下命令开启NPU共享模式:

    npu-smi set -t device-share -i 0 -c 0 -d 1

    如果用户需要关闭NPU共享模式,请将-d参数取值修改为0。

    可执行以下命令查询NPU共享状态:

    npu-smi info -t device-share -i 0 -c 0
搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词