--buffer_optimize
功能说明
数据缓存优化开关。
关联参数
当--buffer_optimize参数值设置为l1_optimize,则不能与--virtual_type参数同时使用,会出现报错,表示虚拟化场景不做l1融合,防止算子过大导致调度异常。
参数取值
参数值:
- l1_optimize:表示开启l1优化。当前版本该参数无效,等同于off_optimize。
- l2_optimize:表示开启l2优化。默认为l2_optimize。
- off_optimize:表示关闭数据缓存优化。
其中,l1表示L1 Buffer,通用内部存储,是AI Core内比较大的一块数据中转区,可暂存AI Core中需要反复使用的一些数据从而减少从总线读写的次数;l2表示L2_Buffer,表示外部存储;AI Core需要把外部存储中的数据加载到内部存储中,才能完成相应的计算。
推荐配置及收益
建议打开数据缓存优化功能:开启数据缓存优化可提高计算效率、提升性能,但由于部分算子在实现上可能存在未考虑的场景,导致影响精度,因此在出现精度问题时可以尝试关闭数据缓存优化。如果关闭数据缓存优化功能后,精度达标,则需要识别出问题算子,反馈给技术支持进一步分析、解决算子问题;解决算子问题后,建议仍旧保持开启数据缓存优化功能。
示例
--buffer_optimize=l2_optimize
支持的型号
Atlas 200/300/500 推理产品
Atlas 推理系列产品
Atlas 训练系列产品
Atlas 200/500 A2推理产品
Atlas A2训练系列产品/Atlas 800I A2推理产品
依赖约束
无。
父主题: 模型调优选项