我要评分文档获取效率文档正确性内容完整性文档易理解0/200提交在线提单论坛求助昇腾小AI 简介 量化是指对模型的权重(weight)和数据(activation)进行低比特处理,让最终生成的网络模型更加轻量化,从而达到节省网络模型存储空间、降低传输时延、提高计算效率,达到性能提升与优化的目标。本节介绍如何对Graph进行量化。 量化运行原理如图1所示。 图1 量化原理 量化过程中会实现模型部署优化(主要为算子融合)功能,如图2所示。 图2 算子融合原理 量化又分为自动量化和手工量化: 自动量化:通过aclgrphCalibration接口来自动插入量化算子,量化过程中会对模型中的某些结构做算子融合。推荐使用自动量化。 手工量化:手动修改模型,插入量化算子。 父主题: 量化 搜索结果找到“0”个结果当前产品无相关内容未找到相关内容,请尝试其他搜索词