INT8Flat

python3 int8flat_generate_model.py -d <dim> --cores <core_num> -p <process_id> -pool <pool_size> -t <npu_type> -code <code_num>

<dim>：特征向量维度D，默认值为“512”。

<core_num>：昇腾AI处理器AI Core的个数，默认为“2”。无需设置。

<process_id>：批量生成算子多进程调度的进程ID，默认值为“0”，无需设置。

<pool_size>：批量生成算子多进程调度的进程池大小，默认值为“10”。

<npu_type>：硬件形态，当前<npu_type>支持Atlas 200/300/500 推理产品、Atlas 推理系列产品和Atlas 800I A2推理产品，默认为“310”。如果无法确定具体的npu_type，则在安装昇腾AI处理器的服务器执行npu-smi info命令进行查询，将查询到的“Name”最后一位数字删除，即是npu_type的取值。

<code_num>：算子调用时底库分块大小，默认值为“262144”，不设置时默认生成所有code_num值的算子。

--help | -h：查询帮助信息。

执行此命令，用户可以得到一组算子模型文件，用户需要自行修改命令中参数。

• dim ∈ {64, 128, 256, 384, 512, 768, 1024}
• 0 ≤ pool_size ≤ 32
• code_num ∈ {16384, 32768, 65536, 131072, 262144}