量化精度调优

量化精度调优策略是结合ModelSlim量化工具和精度测试工具precision tool进行精度验证和调优开展。大模型经过量化后精度损失大,可以参考如下精度调优策略进行调整。具体内容可以参考下面的链接:

  1. W8A8量化精度调优请参考链接W8A8量化精度调优策略
  2. W8A16量化精度调优请参考链接W8A16精度调优策略
  3. 稀疏量化精度调优请参考链接稀疏量化精度调试案例
  4. FA量化精度调优请参考链接FA量化使用说明