文档
注册

IVFSQT

为了减少train和add的耗时,需要生成FlatAT算子。其中,Flat的<dim>需与IVFSQT的<dim_in>相同,Flat的<code_num>与IVFSQT的<coarse_centroid_num>一致。

用法

python3 ivfsqt_generate_model.py --cores <core_num> -d <dim_in> -r <compress_ratio> -c <coarse_centroid_num> -p <process_id> -pool <pool_size> -t <npu_type>

参数名称

<dim_in>:输入特征向量维度。

<compress_ratio>:输入与输出维度的比值,默认值为“4”。取值范围:compress_ratio≥1。

<coarse_centroid_num>:L1簇聚类中心个数。

<core_num>:昇腾AI处理器AI Core的个数,默认为“2”。不指定该值时,根据<npu_type>配置:当npu_type配置为310时,<core_num>配置为2;当npu_type配置为310P时,<core_num>配置为8。

<process_id>:批量生成算子多进程调度的进程ID,默认值为“0”,无需设置。

<pool_size>:批量生成算子多进程调度的进程池大小,默认值为“32”。取值范围:1≤pool_size≤32。

<npu_type>:硬件形态,当前<npu_type>支持Atlas 200/300/500 推理产品以及Atlas 推理系列产品(配置Ascend 310P AI处理器,取值范围分别为:310、310P,默认为“310”

说明

执行此命令,用户可以得到一组算子模型文件。

约束说明

  • dimIn ∈ {256}
  • dimOut ∈ {32, 64, 128}
  • coarse_centroid_num ∈ {1024, 2048, 4096, 8192, 16384, 32768}
  • <dim_in>可以被<compress_ratio>整除。

涉及算法

AscendIndexIVFSQT

搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词