深度模型Adan优化器如何完成ViT的训练
自google提出vision transformer(vit)以来，vit渐渐成为许多视觉任务的默认backbone。凭借着vit结构，许多视觉任务的sota都得到了进一步提升，包括图像分类、分割、检测、识别等。
然而，训练vit并非易事。除了需要较复杂的训练技巧，模型训练的计算量往往也较之前的cnn大很多。近日，新加坡sea ai lab (sail) 和北大zero lab的研究团队共同提出新的深度模型优化器adan，该优化器可以仅用一半的计算量就能完成vit的训练。
此外，在计算量一样的情况下， adan在多个场景（涉及cv、nlp、rl）、多种训练方式（有监督与自监督）和多种网络结构/算法（swin、vit、resnet、convnext、mae、lstm、bert、transformer-xl、ppo算法）上，均获得了性能提升。
代码、配置文件、训练log均已开源。
深度模型的训练范式与优化器
随着vit的提出，深度模型的训练方式变得越来越复杂。常见的训练技巧包括复杂的数据增强（如mixup、cutmix、autorand）、标签的处理（如label smoothing和noise label）、模型参数的移动平均、随机网络深度、dropout等。伴随着这些技巧的混合运用，模型的泛化性与鲁棒性均得到了提升，但是随之而来的便是模型训练的计算量变得越来越大。
在imagenet 1k上，训练epoch数从resnet刚提出的90已经增长到了训练vit常用的300。甚至针对一些自监督学习的模型，例如mae、vit，预训练的epoch数已经达到了1.6k。训练epoch增加意味着训练时间极大的延长，急剧增加了学术研究或工业落地的成本。目前一个普遍的解决方案是增大训练的batch size并辅助并行训练以减少训练时间，但是伴随的问题便是，大的batch size往往意味着performance的下降，并且batch size越大，情况越明显。
这主要是因为模型参数的更新次数随着batch size的增加在急剧减少。当前的优化器并不能在复杂的训练范式下以较少的更新次数实现对模型的快速训练，这进一步加剧了模型训练epoch数的增长。
因此，是否存在一种新的优化器能在较少的参数更新次数情况下更快更好地训练深度模型？在减少训练epoch数的同时，也能缓解batch size增加带来的负面影响？
被忽略的冲量
要想加速优化器的收敛速度，最直接的方法便是引入冲量。近年提出的深度模型优化器均沿用着adam中使用的冲量范式——重球法：
其中g_k是随机噪声，m_k是moment，eta是学习率。adam将m_k的更新由累积形式换成了移动平均的形式，并引入二阶moment（n_k）对学习率进行放缩，即：
然而随着adam训练原始vit失败，它的改进版本adamw渐渐地变成了训练vit甚至convnext的首选。但是adamw并没有改变adam中的冲量范式，因此在当batch size超过4,096的时候，adamw训练出的vit的性能会急剧下降。
在传统凸优化领域，有一个与重球法齐名的冲量技巧——nesterov冲量算法：
nesterov冲量算法在光滑且一般凸的问题上，拥有比重球法更快的理论收敛速度，并且理论上也能承受更大的batch size。同重球法不同的是，nesterov算法不在当前点计算梯度，而是利用冲量找到一个外推点，在该点算完梯度以后再进行冲量累积。
外推点能帮助nesterov算法提前感知当前点周围的几何信息。这种特性使得nesterov冲量更加适合复杂的训练范式和模型结构（如vit），因为它并不是单纯地依靠过去的冲量去绕开尖锐的局部极小点，而是通过提前观察周围的梯度，调整更新的方向。
尽管nesterov冲量算法拥有一定的优势，但是在深度优化器中，却鲜有被应用与探索。其中一个主要的原因就是nesterov算法需要在外推点计算梯度，在当前点更新，期间需要多次模型参数重载以及需要人为地在外推点进行back-propagation (bp)。这些不便利性极大地限制了nesterov冲量算法在深度模型优化器中的应用。
adan优化器
通过结合改写的nesterov冲量与自适应优化算法，并引入解耦的权重衰减，可以得到最终的adan优化器。利用外推点，adan可以提前感知周围的梯度信息，从而高效地逃离尖锐的局部极小区域，以增加模型的泛化性。
1) 自适应的nesterov冲量
为了解决nesterov冲量算法中多次模型参数重载的问题，研究人员首先对nesterov进行改写：
可以证明，改写的nesterov冲量算法与原算法等价，两者的迭代点可以相互转化，且最终的收敛点相同。可以看到，通过引入梯度的差分项，已经可以避免手动的参数重载和人为地在外推点进行bp。
将改写的nesterov冲量算法同自适应类优化器相结合——将m_k的更新由累积形式替换为移动平均形式，并使用二阶moment对学习率进行放缩：
至此已经得到了adan的算法的基础版本。
2) 梯度差分的冲量
可以发现，m_k的更新将梯度与梯度的差分耦合在一起，但是在实际场景中，往往需要对物理意义不同的两项进行单独处理，因此研究人员引入梯度差分的冲量v_k：
这里对梯度的冲量和其差分的冲量设置不同的冲量/平均系数。梯度差分项可以在相邻梯度不一致的时候减缓优化器的更新，反之，在梯度方向一致时，加速更新。
3) 解耦的权重衰减
对于带l2权重正则的目标函数，目前较流行的adamw优化器通过对l2正则与训练loss解耦，在vit和convnext上获得了较好的性能。但是adamw所用的解耦方法偏向于启发式，目前并不能得到其收敛的理论保证。
基于对l2正则解耦的思想，也给adan引入解耦的权重衰减策略。目前adan的每次迭代可以看成是在最小化优化目标f的某种一阶近似：
由于f中的l2权重正则过于简单且光滑性很好，以至于不需要对其进行一阶近似。因此，可以只对训练loss进行一阶近似而忽略l2权重正则，那么adan的最后一步迭代将会变成：
有趣的是，可以发现adamw的更新准则是adan更新准则在学习率eta接近0时的一阶近似。因此，可从proximal 算子的角度给adan甚至adamw给出合理的解释而不是原来的启发式改进。
4) adan优化器
将2）和3）两个改进结合进adan的基础版本，可以得到如下的adan优化器。
adan结合了自适应优化器、nesterov冲量以及解耦的权重衰减策略的优点，能承受更大的学习率和batch size，以及可以实现对模型参数的动态l2正则。
5) 收敛性分析
这里跳过繁复的数学分析过程，只给出结论：
定理：在给定或未给定hessian-smooth条件的两种情况下，adan优化器的收敛速度在非凸随机优化问题上均能达到已知的理论下界，并且该结论在带有解耦的权重衰减策略时仍然成立。
实验结果
一、cv场景
1）有监督学习——vit模型
针对vit模型，研究人员分别在vit和swin结构上，测试了adan的性能。
可以看到，例如在vit-small、vit-base、swin-tiny以及swin-base上，adan仅仅消耗了一半的计算资源就获得了同sota优化器接近的结果，并且在同样的计算量下，adan在两种vit模型上均展现出较大的优势。
此外，也在大batch size下测试了adan的性能：
可以看到，adan在各种batch size下都表现得不错，且相对于专为大batch size设计的优化器（lamb）也具有一定的优势。
2）有监督学习——cnn模型
除了较难训练的vit模型，研究人员也在尖锐局部极小点相对较少的cnn模型上也测试了adan的性能——包括经典的resnet与较先进的convnext。结果如下：
可以观察到，不管是resnet还是convnext，adan均能在大约2/3训练epoch以内获得超越sota的性能。
3) 无监督学习
在无监督训练框架下，研究人员在最新提出的mae上测试了adan的表现。其结果如下：
同有监督学习的结论一致，adan仅消耗了一半的计算量就追平甚至超过了原来的sota优化器，并且当训练epoch越小，adan的优势就越明显。
二、nlp场景
1) 有监督学习
在nlp的有监督学习任务上，分别在经典的lstm以及先进的transformer-xl上观察adan的表现。
adan在上述两种网络上，均表现出一致的优越性。并且对于transformer-xl，adan在一半的训练步数内就追平了默认的adam优化器。
2) 无监督学习
为了测试adan在nlp场景下无监督任务上的模型训练情况。研究人员从头开始训练bert：在经过1000k的预训练迭代后，在glue数据集的7个子任务上测试经过adan训练的模型性能，结果如下：
adan在所测试的7个词句分类任务上均展现出较大的优势。值得一提的是，经过adan训练的bert-base模型，在一些子任务上（例如rte、cola以及sst-2）的结果甚至超过了adam训练的bert-large.
三、rl场景
研究人员将rl常用的ppo算法里的优化器替换为了adan，并在mujoco引擎中的4个游戏上测试了adan的性能。在4个游戏中，用adan作为网络优化器的ppo算法，总能获得较高的reward。
adan在rl的网络训练中，也表现出较大的潜力。
结论与展望
adan优化器为目前的深度模型优化器引入了新的冲量范式。在复杂的训练范式下以较少的更新次数实现对模型的快速训练。
实验显示，adan仅需1/2-2/3的计算量就能追平现有的sota优化器。
adan在多个场景（涉及cv、nlp、rl）、多个训练方式（有监督与自监督）和多种网络结构（vit、cnn、lstm、transformer等）上，均展现出较大的性能优势。此外，adan优化器的收敛速度在非凸随机优化上也已经达到了理论下界。
Cat.1模组再添新选择，利尔达推出NT26U提供多元应用思路
由555定时器构成的流水灯控制电路
电动汽车没电去加油站换电池就行！就这么简单
君正集成电路 X1000/E主板介绍
单片机之间UART通信示意图分享
深度模型Adan优化器如何完成ViT的训练
中科驭数正式加入龙蜥社区 推动软硬件创新技术及应用生态发展
Acrel安全用电管理平台如何是实现电气火灾监测的
央行数字货币DCEP是M0发行是因为什么
三星S8售价上万元,成售价最高流行智能机,弥补Note7损失
认知计算揭开计算新时代序幕？路漫漫其修远兮
5G对同轴电缆连接器的发展有什么影响
苹果USB-C to Lightning快充线，开启闪电快充模式
人工智能以后会走向何方
荣泰RT8900双子座按摩椅，打造奢华的按摩体验
C++：指针和引用的区别与联系
某半导体设备二次上电跳闸问题浅析
2.4G和5G WiFi的优缺点分析
氮氧化物(NOx)、挥发性有机物(VOCs)与臭氧（O3）的关联
莱安LA-5830室外无线电桥的多区域监控解决方案
然而，训练vit并非易事。除了需要较复杂的训练技巧，模型训练的计算量往往也较之前的cnn大很多。近日，新加坡sea ai lab (sail) 和北大zero lab的研究团队共同提出新的深度模型优化器adan，该优化器可以仅用一半的计算量就能完成vit的训练。
此外，在计算量一样的情况下， adan在多个场景（涉及cv、nlp、rl）、多种训练方式（有监督与自监督）和多种网络结构/算法（swin、vit、resnet、convnext、mae、lstm、bert、transformer-xl、ppo算法）上，均获得了性能提升。
代码、配置文件、训练log均已开源。
深度模型的训练范式与优化器
随着vit的提出，深度模型的训练方式变得越来越复杂。常见的训练技巧包括复杂的数据增强（如mixup、cutmix、autorand）、标签的处理（如label smoothing和noise label）、模型参数的移动平均、随机网络深度、dropout等。伴随着这些技巧的混合运用，模型的泛化性与鲁棒性均得到了提升，但是随之而来的便是模型训练的计算量变得越来越大。
在imagenet 1k上，训练epoch数从resnet刚提出的90已经增长到了训练vit常用的300。甚至针对一些自监督学习的模型，例如mae、vit，预训练的epoch数已经达到了1.6k。训练epoch增加意味着训练时间极大的延长，急剧增加了学术研究或工业落地的成本。目前一个普遍的解决方案是增大训练的batch size并辅助并行训练以减少训练时间，但是伴随的问题便是，大的batch size往往意味着performance的下降，并且batch size越大，情况越明显。
这主要是因为模型参数的更新次数随着batch size的增加在急剧减少。当前的优化器并不能在复杂的训练范式下以较少的更新次数实现对模型的快速训练，这进一步加剧了模型训练epoch数的增长。
因此，是否存在一种新的优化器能在较少的参数更新次数情况下更快更好地训练深度模型？在减少训练epoch数的同时，也能缓解batch size增加带来的负面影响？
被忽略的冲量
要想加速优化器的收敛速度，最直接的方法便是引入冲量。近年提出的深度模型优化器均沿用着adam中使用的冲量范式——重球法：
其中g_k是随机噪声，m_k是moment，eta是学习率。adam将m_k的更新由累积形式换成了移动平均的形式，并引入二阶moment（n_k）对学习率进行放缩，即：
然而随着adam训练原始vit失败，它的改进版本adamw渐渐地变成了训练vit甚至convnext的首选。但是adamw并没有改变adam中的冲量范式，因此在当batch size超过4,096的时候，adamw训练出的vit的性能会急剧下降。
在传统凸优化领域，有一个与重球法齐名的冲量技巧——nesterov冲量算法：
nesterov冲量算法在光滑且一般凸的问题上，拥有比重球法更快的理论收敛速度，并且理论上也能承受更大的batch size。同重球法不同的是，nesterov算法不在当前点计算梯度，而是利用冲量找到一个外推点，在该点算完梯度以后再进行冲量累积。
外推点能帮助nesterov算法提前感知当前点周围的几何信息。这种特性使得nesterov冲量更加适合复杂的训练范式和模型结构（如vit），因为它并不是单纯地依靠过去的冲量去绕开尖锐的局部极小点，而是通过提前观察周围的梯度，调整更新的方向。
尽管nesterov冲量算法拥有一定的优势，但是在深度优化器中，却鲜有被应用与探索。其中一个主要的原因就是nesterov算法需要在外推点计算梯度，在当前点更新，期间需要多次模型参数重载以及需要人为地在外推点进行back-propagation (bp)。这些不便利性极大地限制了nesterov冲量算法在深度模型优化器中的应用。
adan优化器
通过结合改写的nesterov冲量与自适应优化算法，并引入解耦的权重衰减，可以得到最终的adan优化器。利用外推点，adan可以提前感知周围的梯度信息，从而高效地逃离尖锐的局部极小区域，以增加模型的泛化性。
1) 自适应的nesterov冲量
为了解决nesterov冲量算法中多次模型参数重载的问题，研究人员首先对nesterov进行改写：
可以证明，改写的nesterov冲量算法与原算法等价，两者的迭代点可以相互转化，且最终的收敛点相同。可以看到，通过引入梯度的差分项，已经可以避免手动的参数重载和人为地在外推点进行bp。
将改写的nesterov冲量算法同自适应类优化器相结合——将m_k的更新由累积形式替换为移动平均形式，并使用二阶moment对学习率进行放缩：
至此已经得到了adan的算法的基础版本。
2) 梯度差分的冲量
可以发现，m_k的更新将梯度与梯度的差分耦合在一起，但是在实际场景中，往往需要对物理意义不同的两项进行单独处理，因此研究人员引入梯度差分的冲量v_k：
这里对梯度的冲量和其差分的冲量设置不同的冲量/平均系数。梯度差分项可以在相邻梯度不一致的时候减缓优化器的更新，反之，在梯度方向一致时，加速更新。
3) 解耦的权重衰减
对于带l2权重正则的目标函数，目前较流行的adamw优化器通过对l2正则与训练loss解耦，在vit和convnext上获得了较好的性能。但是adamw所用的解耦方法偏向于启发式，目前并不能得到其收敛的理论保证。
基于对l2正则解耦的思想，也给adan引入解耦的权重衰减策略。目前adan的每次迭代可以看成是在最小化优化目标f的某种一阶近似：
由于f中的l2权重正则过于简单且光滑性很好，以至于不需要对其进行一阶近似。因此，可以只对训练loss进行一阶近似而忽略l2权重正则，那么adan的最后一步迭代将会变成：
有趣的是，可以发现adamw的更新准则是adan更新准则在学习率eta接近0时的一阶近似。因此，可从proximal 算子的角度给adan甚至adamw给出合理的解释而不是原来的启发式改进。
4) adan优化器
将2）和3）两个改进结合进adan的基础版本，可以得到如下的adan优化器。
adan结合了自适应优化器、nesterov冲量以及解耦的权重衰减策略的优点，能承受更大的学习率和batch size，以及可以实现对模型参数的动态l2正则。
5) 收敛性分析
这里跳过繁复的数学分析过程，只给出结论：
定理：在给定或未给定hessian-smooth条件的两种情况下，adan优化器的收敛速度在非凸随机优化问题上均能达到已知的理论下界，并且该结论在带有解耦的权重衰减策略时仍然成立。
实验结果
一、cv场景
1）有监督学习——vit模型
针对vit模型，研究人员分别在vit和swin结构上，测试了adan的性能。
可以看到，例如在vit-small、vit-base、swin-tiny以及swin-base上，adan仅仅消耗了一半的计算资源就获得了同sota优化器接近的结果，并且在同样的计算量下，adan在两种vit模型上均展现出较大的优势。
此外，也在大batch size下测试了adan的性能：
可以看到，adan在各种batch size下都表现得不错，且相对于专为大batch size设计的优化器（lamb）也具有一定的优势。
2）有监督学习——cnn模型
除了较难训练的vit模型，研究人员也在尖锐局部极小点相对较少的cnn模型上也测试了adan的性能——包括经典的resnet与较先进的convnext。结果如下：
可以观察到，不管是resnet还是convnext，adan均能在大约2/3训练epoch以内获得超越sota的性能。
3) 无监督学习
在无监督训练框架下，研究人员在最新提出的mae上测试了adan的表现。其结果如下：
同有监督学习的结论一致，adan仅消耗了一半的计算量就追平甚至超过了原来的sota优化器，并且当训练epoch越小，adan的优势就越明显。
二、nlp场景
1) 有监督学习
在nlp的有监督学习任务上，分别在经典的lstm以及先进的transformer-xl上观察adan的表现。
adan在上述两种网络上，均表现出一致的优越性。并且对于transformer-xl，adan在一半的训练步数内就追平了默认的adam优化器。
2) 无监督学习
为了测试adan在nlp场景下无监督任务上的模型训练情况。研究人员从头开始训练bert：在经过1000k的预训练迭代后，在glue数据集的7个子任务上测试经过adan训练的模型性能，结果如下：
adan在所测试的7个词句分类任务上均展现出较大的优势。值得一提的是，经过adan训练的bert-base模型，在一些子任务上（例如rte、cola以及sst-2）的结果甚至超过了adam训练的bert-large.
三、rl场景
研究人员将rl常用的ppo算法里的优化器替换为了adan，并在mujoco引擎中的4个游戏上测试了adan的性能。在4个游戏中，用adan作为网络优化器的ppo算法，总能获得较高的reward。
adan在rl的网络训练中，也表现出较大的潜力。
结论与展望
adan优化器为目前的深度模型优化器引入了新的冲量范式。在复杂的训练范式下以较少的更新次数实现对模型的快速训练。
实验显示，adan仅需1/2-2/3的计算量就能追平现有的sota优化器。
adan在多个场景（涉及cv、nlp、rl）、多个训练方式（有监督与自监督）和多种网络结构（vit、cnn、lstm、transformer等）上，均展现出较大的性能优势。此外，adan优化器的收敛速度在非凸随机优化上也已经达到了理论下界。
Cat.1模组再添新选择，利尔达推出NT26U提供多元应用思路
由555定时器构成的流水灯控制电路
电动汽车没电去加油站换电池就行！就这么简单
君正集成电路 X1000/E主板介绍
单片机之间UART通信示意图分享
深度模型Adan优化器如何完成ViT的训练
中科驭数正式加入龙蜥社区 推动软硬件创新技术及应用生态发展
Acrel安全用电管理平台如何是实现电气火灾监测的
央行数字货币DCEP是M0发行是因为什么
三星S8售价上万元,成售价最高流行智能机,弥补Note7损失
认知计算揭开计算新时代序幕？路漫漫其修远兮
5G对同轴电缆连接器的发展有什么影响
苹果USB-C to Lightning快充线，开启闪电快充模式
人工智能以后会走向何方
荣泰RT8900双子座按摩椅，打造奢华的按摩体验
C++：指针和引用的区别与联系
某半导体设备二次上电跳闸问题浅析
2.4G和5G WiFi的优缺点分析
氮氧化物(NOx)、挥发性有机物(VOCs)与臭氧（O3）的关联
莱安LA-5830室外无线电桥的多区域监控解决方案