下载
中文
注册

批量算子模型文件生成

用法

python3 run_generate_model.py -m <mode> -t <npu_type> -p <pipeline> -pool <pool_size>

参数名称

<mode>:算法模式,<mode>支持ALL以及Flat,SQ8,IVFSQ8,INT8中的一种或多种,多种之间用逗号隔开,如:python3 run_generate_model.py -m Flat,IVFSQ8。默认全选,可以直接执行python3 run_generate_model.py

<npu_type>:硬件形态,当前<npu_type>支持Atlas 200/300/500 推理产品以及Atlas 推理系列产品,取值范围:310、310P,默认为“310”

<pipeline>:是否使用多线程并行流水生成算子模型,默认为“true”。设置为“true”时,使用默认的“pool_size”的值为“32”

<pool_size>:批量生成算子多进程调度的进程池大小。

说明

  • 执行此命令,用户可以得到多组算子模型文件。执行命令前,用户需要更改当前目录下的“para_table.xml”文件,将所需的参数填入表中。
  • 1 ≤ pool_size ≤ 32

算子生成说明表格中的约束说明,代表业务中经常涉及的参数组合,不排除使用其它参数脚本正常运行的情况。其它参数运行异常请参见CANN ATC工具使用指南