天天干天天做天天操-天天干天天做天天射-天天干网-天天干网站-天天干网址

產品分類

當前位置: 首頁 > 工業電氣產品 > 端子與連接器 > 線路板連接器 > FFC連接器

類型分類:
科普知識
數據分類:
FFC連接器

UIUC華人團隊提出升級版的RAdam模型 收斂快精度高

發布日期:2022-05-18 點擊率:51

8月18日消息,UIUC的華人博士生Liyuan Liu等人的一篇新論文中介紹了Adam模型的新改進“Rectified Adam”(簡稱RAdam)。這是基于原始Adam作出的改進,它既能實現Adam快速收斂的優點,又具備SGD方法的優勢,令模型收斂至質量更高的結果。


UIUC華人團隊提出升級版的RAdam模型  收斂快精度高


RAdam具備在多種學習率下的強大性能,同時仍能快速收斂并實現更高的性能(CIFAR數據集)


UIUC華人團隊提出升級版的RAdam模型  收斂快精度高


UIUC華人團隊提出升級版的RAdam模型  收斂快精度高


UIUC華人團隊提出升級版的RAdam模型  收斂快精度高


RAdam和XResNet50,5個epoch精度即達到86%


Imagenette排行榜:達到當前最高性能84.6%


下面來看看RAdam的內部機制,看看為什么能夠實現更優質的收斂,更好的訓練穩定性(相對所選擇的學習率更不敏感),為何基于幾乎所有AI應用都能實現更好的準確性和通用性。


UIUC華人團隊提出升級版的RAdam模型  收斂快精度高


不只是對于CNN:RAdam在Billion Word Dataset上的表現優于LSTM


RAdam:無需預熱,避免模型收斂至“局部最優解”


作者指出,雖然每個人都在努力實現快速穩定的優化算法,但包括Adam,RMSProp等在內的自適應學習率優化器都存在收斂到質量較差的局部最優解的可能。因此,幾乎每個人都使用某種形式的“預熱”方式來避免這種風險。但為什么需要預熱?


由于目前對AI社區中對于“預熱”出現的潛在原因,甚至最佳實踐的理解有限,本文作者試圖揭示這個問題的基礎。他們發現,根本問題是自適應學習率優化器具有太大的變化,特別是在訓練的早期階段,并且可能由于訓練數據量有限出現過度跳躍,因此可能收斂至局部最優解。


UIUC華人團隊提出升級版的RAdam模型  收斂快精度高


使用原始Adam必須預熱,否則正態分布會變得扭曲,是否預熱的分布對比見上圖


因此,當優化器僅使用有限的訓練數據時,采用“預熱”(這一階段的學習率要慢得多)是自適應優化器要求抵消過度方差的要求。


簡而言之,vanilla Adam和其他自適應學習速率優化器可能會基于訓練早期數據太少而做出錯誤決策。因此,如果沒有某種形式的預熱,很可能在訓練一開始便會收斂局部最優解,這使得訓練曲線由于糟糕的開局而變得更長、更難。


然后,作者在不用預熱的情況下運行了Adam,但是在前2000次迭代(adam-2k)中避免使用動量,結果實現了與“Adam+預熱”差不多的結果,從而驗證了“預熱”在訓練的初始階段中起到“降低方差”的作用,并可以避免Adam在沒有足夠數據的情況下在開始訓練時即陷入局部最優解。


適用于多個數據集,堪稱Adam的優秀“接班人”


我們可以將“預熱”作為降低方差的方法,但所需的預熱程度未知,而且具體情況會根據數據集不同而變化,本文確定了一個數學算法,作為“動態方差減少器”。作者建立了一個“整流項”,可以緩慢而穩定地允許將自適應動量作為基礎方差的函數進行充分表達。完整模型是這樣的:


UIUC華人團隊提出升級版的RAdam模型  收斂快精度高


作者指出,在某些情況下,由于衰減率和基本方差的存在,RAdam可以在動量等效的情況下退化為SGD。


實驗表明,RAdam優于傳統的手動預熱調整,其中需要預熱或猜測需要預熱的步驟數。RAdam自動提供方差縮減,在各種預熱長度和各種學習率下都優于手動預熱。總之,RAdam可以說是AI最先進的優化器,可以說是Adam的優秀接班人!


文章來源: medium

下一篇: PLC、DCS、FCS三大控

上一篇: 無人機串級PID控制器

推薦產品

更多
主站蜘蛛池模板: 日韩成人在线播放 | 欧美日韩1区2区 | 国产成+人+综合+亚洲 欧美 | 国产精品国产三级国产专播下 | 日本一级毛片毛片一级毛片 | 精品毛片| 久久一区精品 | a级毛片在线播放 | 在线一区观看 | 久久成人国产精品二三区 | 欧洲免费极品videos | 日韩欧美一区二区三区在线观看 | 国产白嫩在线观看视频 | 日本不卡高清免费v日本 | 啪视频在线| 99久久国语露脸精品对白 | 欧美日韩色视频 | 亚州黄色| 亚洲人成在线观看男人自拍 | 国产在线一区观看 | 亚洲综合网国产福利精品一区 | 青草草在线观看免费视频 | 亚洲人视频在线观看 | 国产xxxxx片免费观看 | 久久久精品一区二区三区 | 久久久久国产亚洲日本 | 国产美女视频黄a视频免费全过程 | 婷婷综合亚洲 | 日韩精品亚洲一级在线观看 | 欧美奇米 | 国产a级特黄的片子视频免费 | 毛片在线网| 国产精品九九 | 色噜噜狠狠在爱丁香 | 91久久国产情侣真实对白 | 亚洲精品成人一区二区aⅴ 亚洲精品大片 | 我要看黄色一级毛片 | 高清一区二区三区视频 | 一级毛片国产真人永久在线 | 国产91久久最新观看地址 | 人人九九|