INT8Flat
INT8和SQ8的区别主要在于:INT8由外部进行量化,Index的输入特征是int8类型,SQ8由Index内部量化,Index的输入特征是float32类型。
用法 |
python3 int8flat_generate_model.py -d <dim> --cores <core_num> -p <process_id> -pool <pool_size> |
---|---|
参数名称 |
<dim>:特征向量维度D。 <core_num>:昇腾AI处理器AI Core的个数,默认为“2”。 <process_id>:批量生成算子多进程调度的进程ID。 <pool_size>:批量生成算子多进程调度的进程池大小。 |
说明 |
执行此命令,用户可以得到一组算子模型文件,用户需要自行修改命令中参数。 |
约束说明 |
|
父主题: 算子生成说明