下载
中文
注册

修改AI CPU和Ctrl CPU配比

Device侧CPU可划分为AI CPU与Ctrl CPU两部分,其中AI CPU负责执行不适合跑在AI Core中的算子(承担非矩阵类复杂计算),Ctrl CPU负责控制芯片的整体运行,开放形态下可用于执行推理应用的自定义预处理、后处理等操作,用户可自行根据业务复杂度修改AI CPU与Ctrl CPU的配比。

Atlas 推理系列产品提供的AI CPU和Ctrl CPU的默认配比为7:1,此默认配比不适合开放形态下应用程序运行在Device上的场景,所以需要用户自行修改AI CPU与Ctrl CPU的配比。

npu-smi工具提供了修改指定芯片的AI CPU和Ctrl CPU配比的功能,详细步骤如下:

  1. 执行npu-smi命令修改AI CPU和Ctrl CPU配比。

    工具命令格式如下:

    npu-smi set -t cpu-num-cfg -i id -c chip_id -v ai_cpu_num:ctrl_cpu_num:data_cpu_num
    1. id:为设备ID。通过npu-smi info -l命令查出的NPU ID即为设备id。
    2. chip_id芯片id。通过npu-smi info -m命令查出的Chip ID即为芯片id。
    3. ai_cpu_num:ctrl_cpu_num:data_cpu_num:芯片的AI CPU数量:control CPU数量:Data CPU数量

      用户修改ai_cpu_num:ctrl_cpu_num:data_cpu_num时需要遵循如下约束:

      • AI CPU的数量 + Ctrl CPU的数量 + Data CPU的数量 = 8
      • AI CPU的数量 >=1
      • Ctrl CPU的数量 >=1

      例如,开放形态下,Data CPU配置为0,AI CPU与Ctrl CPU的数量组合可以为4+4、3+5、2+6、1+7。

      命令示例:

      npu-smi set -t cpu-num-cfg -i 1 -c 0 -v 2:6:0
  2. 重启Host。

    通过npu-smi命令修改AI CPU和Ctrl CPU配比后,需要重启才能生效,请在Host侧执行如下命令进行重启操作。

    reboot

您也可以通过DCMI的dcmi_set_device_user_config接口修改Ctrl CPU与AI CPU配比,接口的详细使用方法可请参见《DCMI API参考》。使用DCMI接口修改配置后,需要重启Host才会生效。