文档
注册

IVFSP

IVFSP检索当前只支持硬件形态“310P”,涉及以下几种类型的模型文件生成:

IVFSP业务算子模型文件生成

用法

python3 ivfsp_generate_model.py --cores <core_num> -d <dim> -nonzero_num <low_dim> -nlist <k> -handle_batch <nprobe> -code_num <code_num> -p <process_id>

参数名称

<core_num>:AI Core的个数,默认值为“8”,无需设置。

<dim>:特征向量维度,默认值为“256”。

<low_dim>:特征向量压缩后非零维度个数,默认值为“32”。

<k>:簇聚类中心个数。与IVFSP训练算子模型文件生成中的<k>保持一致,默认值为“1024”。

<nprobe>:检索时每次下发计算时的候选桶数量,默认值为“32”。

<code_num>:检索时每次下发计算时的每个桶的最大样本数量,若桶太大,程序会自动根据code_num将桶拆成多次算子下发计算距离。与IVFSP训练算子模型文件生成中的<codebook_batch_size>保持一致,默认值为“32768”。

<process_id>:批量生成算子多进程调度的进程ID,默认值为“0”,无需设置。

--help | -h:查询帮助信息。

说明

执行此命令,用户可以得到一组用于IVFSP检索时的AI Core算子模型文件,用户需要自行修改命令中参数。

约束说明

  • dim ∈ {64, 128, 256}。
  • low_dim是16的倍数且小于dim。
  • k∈ {256, 512, 1024, 2048, 4096, 8192, 16384}。
  • nprobe需为16的倍数,且小于等于k。

IVFSP AICPU算子模型文件生成

用法

python3 ivfsp_aicpu_generate_model.py --cores <core_num> -p <process_id>

参数名称

<core_num>:AI Core的个数,默认值为“8”,无需设置。

<process_id>:批量生成算子多进程调度的进程ID,默认值为“0”,无需设置。

--help | -h:查询帮助信息。

说明

执行此命令,用户可以得到一组用于IVFSP检索时的AI CPU算子模型文件。

IVFSP训练算子模型文件生成

用法

python3 ivfsp_generate_pyacl_model.py --cores <core_num> -d <dim> -nonzero_num <low_dim> -nlist <k> -batch_size <batch_size> -code_num <codebook_batch_size> -p <process_id>

参数名称

<core_num>:AI Core的个数,默认值为“8”,无需设置。

<dim>:特征向量维度,默认值为“256”。

<low dim>:特征向量压缩后非零维度个数,默认值为“32”。

<k>:簇聚类中心个数。与IVFSP业务算子模型文件生成中的<k>保持一致,默认值为“1024”。

<batch_size>:训练时以batch_size大小执行训练,默认值为“32768”。

<codebook_batch_size>:训练时每次最大按codebook_batch_size样本数量操作码本,必须为2的幂次。与IVFSP业务算子模型文件生成中的<code_num>保持一致,默认值为“32768”。

<process_id>:批量生成算子多进程调度的进程ID,默认值为“0”,无需设置。

--help | -h:查询帮助信息。

说明

执行此命令,用户可以得到一组用于IVFSP检索时的算子模型文件,用户需要自行修改命令中参数。生成的IVFSP训练算子模型文件,保存在当前目录的子目录op_models_pyacl下。

约束说明

  • dim ∈ {64, 128, 256}。
  • low_dim需为16的倍数且小于dim。
  • ck∈ {256, 512, 1024, 2048, 4096, 8192, 16384}。
  • batch_size需为16的倍数。
  • codebook_batch_size需为16的倍数。
搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词