IVFSP
IVFSP检索当前只支持硬件形态“310P”,涉及以下几种类型的模型文件生成:
- ivfsp_generate_model.py:IVFSP业务算子模型文件生成,具体请参见IVFSP业务算子模型文件生成。
- ivfsp_aicpu_generate_model.py:IVFSP AICPU算子模型文件生成,具体请参见IVFSP AICPU算子模型文件生成。
- ivfsp_generate_pyacl_model.py:IVFSP训练码本时需要的训练算子模型文件生成,具体请参见IVFSP训练算子模型文件生成。
IVFSP业务算子模型文件生成
用法 |
python3 ivfsp_generate_model.py --cores <core_num> -d <dim> -nonzero_num <low_dim> -nlist <k> -handle_batch <nprobe> -code_num <code_num> -p <process_id> |
---|---|
参数名称 |
<core_num>:AI Core的个数,默认值为“8”,无需设置。 <dim>:特征向量维度,默认值为“256”。 <low_dim>:特征向量压缩后非零维度个数,默认值为“32”。 <k>:簇聚类中心个数。与IVFSP训练算子模型文件生成中的<k>保持一致,默认值为“1024”。 <nprobe>:检索时每次下发计算时的候选桶数量,默认值为“32”。 <code_num>:检索时每次下发计算时的每个桶的最大样本数量,若桶太大,程序会自动根据code_num将桶拆成多次算子下发计算距离。与IVFSP训练算子模型文件生成中的<codebook_batch_size>保持一致,默认值为“32768”。 <process_id>:批量生成算子多进程调度的进程ID,默认值为“0”,无需设置。 --help | -h:查询帮助信息。 |
说明 |
执行此命令,用户可以得到一组用于IVFSP检索时的AI Core算子模型文件,用户需要自行修改命令中参数。 |
约束说明 |
|
IVFSP AICPU算子模型文件生成
用法 |
python3 ivfsp_aicpu_generate_model.py --cores <core_num> -p <process_id> |
---|---|
参数名称 |
<core_num>:AI Core的个数,默认值为“8”,无需设置。 <process_id>:批量生成算子多进程调度的进程ID,默认值为“0”,无需设置。 --help | -h:查询帮助信息。 |
说明 |
执行此命令,用户可以得到一组用于IVFSP检索时的AI CPU算子模型文件。 |
IVFSP训练算子模型文件生成
用法 |
python3 ivfsp_generate_pyacl_model.py --cores <core_num> -d <dim> -nonzero_num <low_dim> -nlist <k> -batch_size <batch_size> -code_num <codebook_batch_size> -p <process_id> |
---|---|
参数名称 |
<core_num>:AI Core的个数,默认值为“8”,无需设置。 <dim>:特征向量维度,默认值为“256”。 <low dim>:特征向量压缩后非零维度个数,默认值为“32”。 <k>:簇聚类中心个数。与IVFSP业务算子模型文件生成中的<k>保持一致,默认值为“1024”。 <batch_size>:训练时以batch_size大小执行训练,默认值为“32768”。 <codebook_batch_size>:训练时每次最大按codebook_batch_size样本数量操作码本,必须为2的幂次。与IVFSP业务算子模型文件生成中的<code_num>保持一致,默认值为“32768”。 <process_id>:批量生成算子多进程调度的进程ID,默认值为“0”,无需设置。 --help | -h:查询帮助信息。 |
说明 |
执行此命令,用户可以得到一组用于IVFSP检索时的算子模型文件,用户需要自行修改命令中参数。生成的IVFSP训练算子模型文件,保存在当前目录的子目录op_models_pyacl下。 |
约束说明 |
|