本章节包含各类融合优化器，提供比普通优化器更好的性能。
API名称 |
说明 |
|---|---|
通过张量融合实现优化器的基础类，实现梯度清零、梯度更新等优化器基本功能，用户可进行继承实现自定义融合优化器。 |
|
通过张量融合实现的随机梯度下降算法。 |
|
通过张量融合实现的 Adadelta 算法。 |
|
通过张量融合实现的 FusedLamb 算法。 |
|
通过张量融合实现的Adam算法。 |
|
通过张量融合实现的AdamW算法。 |
|
通过张量融合实现的AdamP算法。 |
|
通过张量融合实现的 BertAdam 算法。 |
|
通过张量融合实现的 RMSprop 算法。 |
|
通过张量融合实现的 RMSpropTF 算法。 |