聚类参数配置

ArchiveName

"FeatureClustering"

-

一次归档/档案合并的任务名称，用于命名和标记一次归档/档案合并运算，长度不超过512字符。

ArchiveMode

ARCHIVE

• ARCHIVE
• MERGE
• KMEANS

归档模式。

• ARCHIVE：归档模式。
• MERGE：档案合并模式。
• KMEANS：KMEANS海量数据归档模式。

FeatureDim

512

-

归档/档案合并的特征维度，需要FeatureRetrieval支持该维度特征检索。

FeatureDataType

FP32

FP32

当前的特征向量的数据类型，当前仅支持FP32类型的特征向量输入。

FeatureSource

RANDOM

• RANDOM
• FILE
• INTERFACE

• 归档特征数据源。支持随机生成特征、二进制特征/ID文件、调用接口传入特征/ID数据内存地址（当前档案合并模式下不支持随机生成特征作为输入）。
• 当前Random数据分布与实际的数据分布不同，建议仅在FeatureCount低于1,000,000的场景下使用Random随机生成数据，随机生成的数据与实际应用场景中的数据性能会有较大差异，不建议通过Random模式测算性能。
• 当前Random通过固定Seed生成数据，故在其他参数（各项threshold等）保持不变的情况下，可以确保随机生成数据结果的可重复验证性。

MetricType

IP

IP

特征向量相似度度量，当前仅支持Inner Product的距离相似度度。

ExactSearchIndexType

FLAT

• FLAT
• SQ

NPU配置的小库检索算法的检索index类型。

ExactSearchThreshold

50000

-

启用NPU小库检索算法检索的阈值，因为NPU的检索创建的开销比CPU更高，故在数据量小于此阈值的情况下，使用CPU而不是NPU执行检索。

ApproximateSearchIndexType

NONE

• NONE
• IVFSQ
• IVFSQC

NPU配置的大库检索算法的检索index类型，“NONE”表示不使用大库检索算法。

ApproximateSearchThreshold

5000000

-

启用NPU大库检索算法检索的阈值，在数据量较小的情况下，NPU的小库检索性能比大库检索性能更好，故在数据量高于其阈值，且配置了相关大库检索的算法情况下，使用对应的大库算法进行检索。

Nlist

1024

-

NPU大库检索算法相关参数，表示IVF的nlist数量，需要FeatureRetrieval支持该取值的大库算法。

Nprobe

32

-

NPU大库检索算法相关参数，表示IVF的nprobe数量

FuzzK

5

大于1小于10的整数。

表示使用检索IVFSQC算法时采用的FuzzK阈值，影响单个芯片上能够存放的最多的特征数量，详情请参考《MindX SDK mxIndex特征检索 用户指南》。

FuzzThreshold

1.003

大于1小于2的小数点后不超过三位有效数字的浮点数。

表示使用检索IVFSQC算法时采用的FuzzThreshold阈值，影响单个芯片上能够存放的最多的特征数量，详情请参考《MindX SDK mxIndex特征检索 用户指南》。

TrainIter

16

大于0小于等于512的整数。

表示IVFSQC训练的迭代数，详情请参考《MindX SDK mxIndex特征检索 用户指南》。

DimReduction

TRUE

• TRUE
• FALSE

NPU大库检索算法是否需要降维。

ShortDim

64

-

NPU大库检索算法相关参数，表示输入后降维的维度，需要FeatureRetrieval支持该维度进行降维。

Devices

-

-

NPU使用的芯片ID，使用英文逗号分隔，详情可以使用npu-smi info查看。

ThreadNum

16

-

执行任务的线程数，可以增加程序运行的并行度。

ResourcesSize

128

-

NPU使用的内存池分配的大小，单位为MB。