文档
注册

简介

量化是指对模型的权重(weight)和数据(activation)进行低比特处理,让最终生成的网络模型更加轻量化,从而达到节省网络模型存储空间、降低传输时延、提高计算效率,达到性能提升与优化的目标。本节介绍如何对Graph进行量化。

量化运行原理如图1所示。

图1 量化原理

量化过程中会实现模型部署优化(主要为算子融合)功能,如图2所示。

图2 算子融合原理

量化又分为自动量化和手工量化:

  • 自动量化:通过aclgrphCalibration接口来自动插入量化算子,量化过程中会对模型中的某些结构做算子融合。推荐使用自动量化。
  • 手工量化:手动修改模型,插入量化算子。
搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词