注意事项

  1. AMP使用装饰器的方式实现。在train与test时需要通过添加with Autocast()将模型的入参转换为FP16。如果不添加，模型入参仍为FP32，在极限batchsize下，会出现内存不足的问题。
  2. 当前PyTorch1.8.1框架AMP不支持tensor融合功能。
  3. PyTorch1.8.1框架AMP请参考官方文档。
父主题： AMP使用说明