下载
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助
昇腾小AI

SQ8

INT8Flat和SQ8的区别主要在于:INT8由外部进行量化,Index的输入特征是int8类型,SQ8由Index内部量化,Index的输入特征是float32类型。

用法

python3 sq8_generate_model.py -d <dim> --cores <core_num> -p <process_id> -pool <pool_size> -t <npu_type>

参数名称

<dim>:特征向量维度D,默认值为“128”。

<core_num>:昇腾AI处理器AI Core的个数,默认为“2”。不指定该值时,根据<npu_type>配置:当npu_type配置为310时,<core_num>配置为2;当npu_type配置为310P时,<core_num>配置为8。

<process_id>:批量生成算子多进程调度的进程ID,默认值为“0”,无需设置。

<pool_size>:批量生成算子多进程调度的进程池大小,默认值为“10”

<npu_type>:硬件形态,当前<npu_type>支持Atlas 200/300/500 推理产品以及Atlas 推理系列产品,取值范围分别为:310、310P,默认为“310”

--help | -h:查询帮助信息。

说明

执行此命令,用户可以得到一组SQ8距离计算算子模型文件,用户需要自行修改命令中参数。

约束说明

  • dim ∈ {64, 128, 256, 384, 512}
  • 0 ≤ pool_size ≤ 32
搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词