天天干天天做天天操-天天干天天做天天射-天天干网-天天干网站-天天干网址

產品分類

當前位置: 首頁 > 工業電氣產品 > 端子與連接器 > 線路板連接器 > FFC連接器

類型分類:
科普知識
數據分類:
FFC連接器

UIUC華人團隊提出升級版的RAdam模型 收斂快精度高

發布日期:2022-05-18 點擊率:51

8月18日消息,UIUC的華人博士生Liyuan Liu等人的一篇新論文中介紹了Adam模型的新改進“Rectified Adam”(簡稱RAdam)。這是基于原始Adam作出的改進,它既能實現Adam快速收斂的優點,又具備SGD方法的優勢,令模型收斂至質量更高的結果。


UIUC華人團隊提出升級版的RAdam模型  收斂快精度高


RAdam具備在多種學習率下的強大性能,同時仍能快速收斂并實現更高的性能(CIFAR數據集)


UIUC華人團隊提出升級版的RAdam模型  收斂快精度高


UIUC華人團隊提出升級版的RAdam模型  收斂快精度高


UIUC華人團隊提出升級版的RAdam模型  收斂快精度高


RAdam和XResNet50,5個epoch精度即達到86%


Imagenette排行榜:達到當前最高性能84.6%


下面來看看RAdam的內部機制,看看為什么能夠實現更優質的收斂,更好的訓練穩定性(相對所選擇的學習率更不敏感),為何基于幾乎所有AI應用都能實現更好的準確性和通用性。


UIUC華人團隊提出升級版的RAdam模型  收斂快精度高


不只是對于CNN:RAdam在Billion Word Dataset上的表現優于LSTM


RAdam:無需預熱,避免模型收斂至“局部最優解”


作者指出,雖然每個人都在努力實現快速穩定的優化算法,但包括Adam,RMSProp等在內的自適應學習率優化器都存在收斂到質量較差的局部最優解的可能。因此,幾乎每個人都使用某種形式的“預熱”方式來避免這種風險。但為什么需要預熱?


由于目前對AI社區中對于“預熱”出現的潛在原因,甚至最佳實踐的理解有限,本文作者試圖揭示這個問題的基礎。他們發現,根本問題是自適應學習率優化器具有太大的變化,特別是在訓練的早期階段,并且可能由于訓練數據量有限出現過度跳躍,因此可能收斂至局部最優解。


UIUC華人團隊提出升級版的RAdam模型  收斂快精度高


使用原始Adam必須預熱,否則正態分布會變得扭曲,是否預熱的分布對比見上圖


因此,當優化器僅使用有限的訓練數據時,采用“預熱”(這一階段的學習率要慢得多)是自適應優化器要求抵消過度方差的要求。


簡而言之,vanilla Adam和其他自適應學習速率優化器可能會基于訓練早期數據太少而做出錯誤決策。因此,如果沒有某種形式的預熱,很可能在訓練一開始便會收斂局部最優解,這使得訓練曲線由于糟糕的開局而變得更長、更難。


然后,作者在不用預熱的情況下運行了Adam,但是在前2000次迭代(adam-2k)中避免使用動量,結果實現了與“Adam+預熱”差不多的結果,從而驗證了“預熱”在訓練的初始階段中起到“降低方差”的作用,并可以避免Adam在沒有足夠數據的情況下在開始訓練時即陷入局部最優解。


適用于多個數據集,堪稱Adam的優秀“接班人”


我們可以將“預熱”作為降低方差的方法,但所需的預熱程度未知,而且具體情況會根據數據集不同而變化,本文確定了一個數學算法,作為“動態方差減少器”。作者建立了一個“整流項”,可以緩慢而穩定地允許將自適應動量作為基礎方差的函數進行充分表達。完整模型是這樣的:


UIUC華人團隊提出升級版的RAdam模型  收斂快精度高


作者指出,在某些情況下,由于衰減率和基本方差的存在,RAdam可以在動量等效的情況下退化為SGD。


實驗表明,RAdam優于傳統的手動預熱調整,其中需要預熱或猜測需要預熱的步驟數。RAdam自動提供方差縮減,在各種預熱長度和各種學習率下都優于手動預熱。總之,RAdam可以說是AI最先進的優化器,可以說是Adam的優秀接班人!


文章來源: medium

下一篇: PLC、DCS、FCS三大控

上一篇: 無人機串級PID控制器

推薦產品

更多
主站蜘蛛池模板: 国产精品视频成人 | 亚洲特黄大黄一级毛片 | 国产成人久久综合热 | 国产精品色综合久久 | 你懂的最新网址 | 国产在线欧美精品中文一区 | 日本无吗中文字幕免费婷婷 | 国产成人aa在线观看视频 | 国产免费高清视频在线观看不卡 | 国产二区三区 | 九九热亚洲精品综合视频 | 亚洲精品入口一区二区在线观看 | 日韩免费一区二区 | 草比视频在线观看 | 日韩免费毛片全部不收费 | 经典三级一区二区三区视频 | 成年人网站黄色 | 日韩一区国产一级 | 亚洲在线免费免费观看视频 | 成人a级特黄毛片 | 久久这里有精品 | a免费视频 | 一区二区视频免费观看 | 五月婷婷六月合 | 黄色三级国产 | 在线免费观看日韩视频 | 国产线路一 | 日韩欧美三级视频 | 日韩一区二区在线视频 | 婷婷久久综合九色综合九七 | 亚洲一区欧洲一区 | 国产三级视频在线观看视主播 | 美女三级黄 | 永久精品免费影院在线观看网站 | 99久久国产综合精品麻豆 | 日韩欧美一区二区三区在线视频 | 亚洲精品免费网站 | 国产亚洲一区二区麻豆 | 国产一区二区三区亚洲综合 | 日韩久久中文字幕 | 1区1区3区4区产品亚洲 |