發布日期：2022-05-18 點擊率：53
8月18日消息，UIUC的華人博士生Liyuan Liu等人的一篇新論文中介紹了Adam模型的新改進“Rectified Adam”（簡稱RAdam）。這是基于原始Adam作出的改進，它既能實現Adam快速收斂的優點，又具備SGD方法的優勢，令模型收斂至質量更高的結果。
RAdam具備在多種學習率下的強大性能，同時仍能快速收斂并實現更高的性能（CIFAR數據集）
RAdam和XResNet50，5個epoch精度即達到86％
Imagenette排行榜：達到當前最高性能84.6％
下面來看看RAdam的內部機制，看看為什么能夠實現更優質的收斂，更好的訓練穩定性（相對所選擇的學習率更不敏感），為何基于幾乎所有AI應用都能實現更好的準確性和通用性。
不只是對于CNN：RAdam在Billion Word Dataset上的表現優于LSTM
RAdam：無需預熱，避免模型收斂至“局部最優解”
作者指出，雖然每個人都在努力實現快速穩定的優化算法，但包括Adam，RMSProp等在內的自適應學習率優化器都存在收斂到質量較差的局部最優解的可能。因此，幾乎每個人都使用某種形式的“預熱”方式來避免這種風險。但為什么需要預熱？
由于目前對AI社區中對于“預熱”出現的潛在原因，甚至最佳實踐的理解有限，本文作者試圖揭示這個問題的基礎。他們發現，根本問題是自適應學習率優化器具有太大的變化，特別是在訓練的早期階段，并且可能由于訓練數據量有限出現過度跳躍，因此可能收斂至局部最優解。
使用原始Adam必須預熱，否則正態分布會變得扭曲，是否預熱的分布對比見上圖
因此，當優化器僅使用有限的訓練數據時，采用“預熱”（這一階段的學習率要慢得多）是自適應優化器要求抵消過度方差的要求。
簡而言之，vanilla Adam和其他自適應學習速率優化器可能會基于訓練早期數據太少而做出錯誤決策。因此，如果沒有某種形式的預熱，很可能在訓練一開始便會收斂局部最優解，這使得訓練曲線由于糟糕的開局而變得更長、更難。
然后，作者在不用預熱的情況下運行了Adam，但是在前2000次迭代（adam-2k）中避免使用動量，結果實現了與“Adam+預熱”差不多的結果，從而驗證了“預熱”在訓練的初始階段中起到“降低方差”的作用，并可以避免Adam在沒有足夠數據的情況下在開始訓練時即陷入局部最優解。
適用于多個數據集，堪稱Adam的優秀“接班人”
我們可以將“預熱”作為降低方差的方法，但所需的預熱程度未知，而且具體情況會根據數據集不同而變化，本文確定了一個數學算法，作為“動態方差減少器”。作者建立了一個“整流項”，可以緩慢而穩定地允許將自適應動量作為基礎方差的函數進行充分表達。完整模型是這樣的：
作者指出，在某些情況下，由于衰減率和基本方差的存在，RAdam可以在動量等效的情況下退化為SGD。
實驗表明，RAdam優于傳統的手動預熱調整，其中需要預熱或猜測需要預熱的步驟數。RAdam自動提供方差縮減，在各種預熱長度和各種學習率下都優于手動預熱?？傊?，RAdam可以說是AI最先進的優化器，可以說是Adam的優秀接班人！
文章來源： medium
下一篇： PLC、DCS、FCS三大控
上一篇： 無人機串級PID控制器
