IVFSQT
为了减少train和add和耗时,需要生成FlatAT算子。其中,<dim>需与前者<dim_in>相同,<code_num>与<coarse_centroid_num>一致。
IVFast方案同IVFSQT。
用法 |
python3 ivfsqt_generate_model.py --cores <core_num> -d <dim_in> -r <compress_ratio> -c <coarse_centroid_num> -p <process_id> -t <npu_type> |
---|---|
参数名称 |
<dim_in>:输入特征向量维度。 <compress_ratio>:输入与输出维度的比值。 <coarse_centroid_num>:L1簇聚类中心个数。 <core_num>:昇腾AI处理器AI Core的个数,默认为“2”。 <process_id>:批量生成算子多进程调度的进程ID。 <npu_type>:硬件形态,当前<npu_type>支持Atlas 200/300/500 推理产品以及Atlas 推理系列产品(配置Ascend 310P AI处理器)(Atlas 300I Pro 推理卡),默认为“310”。 |
说明 |
执行此命令,用户可以得到一组算子模型文件。 |
约束说明 |
|
父主题: 算子生成说明