文档
注册

FlatInt8AT

用法

python3 flat_at_int8_generate_model.py --cores <core_num> -d <dim> -c <code_num> -p <process_id> --soc-version <soc_version> -t <npu_type>

参数名称

<core_num>:昇腾AI处理器AI Core的个数,默认为“8”

<dim>:输入特征向量维度,默认值为“256”。

<code_num>:与输入特征作对比的底库特征数,默认值为“16384”。

<process_id>:批量生成算子多进程调度的进程ID,默认值为“0”,无需设置。

<soc_version>:昇腾AI处理器的型号,默认为“Ascend310P3”,无需设置。

<npu_type>:硬件形态,当前支持Atlas 推理系列产品(Ascend 310P AI处理器,默认为“310P”,无需设置。

--help | -h:查询帮助信息。

说明

执行此命令,用户可以得到一组算子模型文件。

FlatInt8AT优化Atlas 推理系列产品(Ascend 310P AI处理器使用场景下,IVFSQT中train、add与update的耗时。

约束说明

  • dim ∈ {256}
  • code_num ∈ {1024, 2048, 4096, 8192, 16384, 32768}
  • soc_version ∈ {Ascend310P3}

涉及算法

AscendIndexIVFSQT

搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词