下载
中文
注册

FlatAT

当前FlatAT算子配合IVF类型的算子使用,用来加速IVF类型算子的add、train等过程,不支持直接调用FlatAT算子。当前的add/train加速功能通过IVF中AscendIndexIVFConfig.useKmeansPP进行指定,此时仅支持训练规模在7,000,000以下的训练。

用法

python3 flat_at_generate_model.py --cores <core_num> -d <dim> -c <code_num> -p <process_id> -t <npu_type>

参数名称

<dim>:输入特征向量维度。

<code_num>:与输入特征作对比的底库特征数。

<core_num>:昇腾AI处理器AI Core的个数,默认为“2”。不指定该值时,根据<npu_type>配置:当npu_type配置为310时,<core_num>配置为2;当npu_type配置为310P时,<core_num>配置为8。

<process_id>:批量生成算子多进程调度的进程ID,默认值为“0”,无需设置。

<npu_type>:硬件形态,当前<npu_type>支持Atlas 200/300/500 推理产品以及Atlas 推理系列产品,取值范围分别为:310、310P,默认为“310”

说明

执行此命令,用户可以得到一组算子模型文件。

FlatAT算子主要用于在IVF场景,减少train和add的耗时。

约束说明

  • dim ∈ {64, 128, 256}
  • code_num ∈ {1024, 2048, 4096, 8192, 16384, 32768}