SQ8
INT8Flat和SQ8的区别主要在于:INT8由外部进行量化,Index的输入特征是int8类型,SQ8由Index内部量化,Index的输入特征是float32类型。
用法 |
python3 sq8_generate_model.py -d <dim> --cores <core_num> -p <process_id> -pool <pool_size> -t <npu_type> |
---|---|
参数名称 |
<dim>:特征向量维度D,默认值为“128”。 <core_num>:昇腾AI处理器AI Core的个数,默认为“2”。不指定该值时,根据<npu_type>配置:当npu_type配置为310时,<core_num>配置为2;当npu_type配置为310P时,<core_num>配置为8。 <process_id>:批量生成算子多进程调度的进程ID,默认值为“0”,无需设置。 <pool_size>:批量生成算子多进程调度的进程池大小,默认值为“10”。 <npu_type>:硬件形态,当前<npu_type>支持Atlas 200/300/500 推理产品以及Atlas 推理系列产品,取值范围分别为:310、310P,默认为“310”。 --help | -h:查询帮助信息。 |
说明 |
执行此命令,用户可以得到一组SQ8距离计算算子模型文件,用户需要自行修改命令中参数。 |
约束说明 |
|
父主题: 算子生成说明