超摩尔定律！OpenAI官宣AI算法效率每16个月翻一番
?
OpenAI今天宣布將開始追蹤機器學習模型的效率，并對AI算法演進的情況進行定量追蹤，結(jié)果顯示算法改進效率吊打摩爾定律。
為了啟動這一進程，Open AI發(fā)表了一份分析報告，開篇即用數(shù)據(jù)展示了算法演進的速度。
報告分析顯示，自2012年以來，要訓練一個人工智能模型在基準測試ImageNet圖像分類任務中達到同等的分類效果，所需的算力每16個月就會減少1/2。
?
與2012年相比，現(xiàn)在訓練一個神經(jīng)網(wǎng)絡達到 AlexNet的水平所需的算力會減少到1/44（相比之下，摩爾定律在相同時間之內(nèi)，效率只有12倍左右的增長）。結(jié)果表明，對于投入了大量資金的AI研發(fā)，算法演進顯然比傳統(tǒng)的硬件進步帶來了更多的收益。
?
算法演進速度吊打摩爾定律
「算法進步是推動AI發(fā)展的關(guān)鍵因素。重要的是要找到方法，闡明整個算法演進的過程，盡管這比衡量計算趨勢更難，」OpenAI 在官網(wǎng)文章中寫道。
提升算法效率，可以定義為減少訓練算法完成某項任務所需的算力。
在很多其他領(lǐng)域都可以對效率進行比較，比如 DNA 測序(每10個月翻一番)、能源再生(每6年翻一番)和晶體管密度(每2年翻一番)。研究人員經(jīng)常使用效率，來衡量算法在完成經(jīng)典計算任務時的能力，其中就包括分類任務。分類等傳統(tǒng)問題上的效率提升，比機器學習中的效率更容易衡量，因為它們對任務難度的衡量更加清晰。
在機器學習中，我們想要測量算法的效率，就要保持達到性能水平的恒定。
在分析中，Open AI利用開源的方法測量了各種模型達到AlexNet 水平的效率。
?
上圖為 ImageNet比賽中各種模型達到AlexNet水平的效率提升情況，圖中reduction factor指的就是提升的倍數(shù)。
2019年推出的EfficientNet-b1模型達到ResNet-50相同的性能，4年的時間里所需算力減少到1/10。
?
研究發(fā)現(xiàn)在機器翻譯、 Go 和 Dota 2比賽中，在較短的時間內(nèi)效率提升速度更快:
1 在WMT’14英語到法語的翻譯基準測試中，seq2seq三年后推出的Transformer，完成相同的訓練任務所需的算力減少了1/61。seqseq也是谷歌2014年推出的架構(gòu)，是當時最先進的模型。
?
2 我們都知道，Deepmind 的AlphaZero是一個從零開始自學下棋的系統(tǒng)，他的進步速度也很快，和在他一年前推出的版本 AlphaGoZero相比，達到相同的性能，只需要8分之一的算力。
?
3 Open AI自己的Dota2游戲系統(tǒng)Open AI Five Rerun和在3個月之前推出的Open AI Five相比，達到相同的性能只需要1/5的算力。前者曾經(jīng)擊敗過世界冠軍，種子選手OG。
當然也要考慮到2012年的計算和2019年的計算不可同日而語，就像美元需要隨著時間的推移發(fā)生通貨膨脹一樣。相同的算力在2019年可以完成比2012年更多的任務。從這個意義上講，可以將某些AI研究進程分為兩個階段，類似于半導體中的「tick tock」發(fā)展模型。
?
以英特爾為例， Tick年（工藝年）更新制作工藝，Tock年（架構(gòu)年）更新微架構(gòu)。Tick-Tock就是時鐘的“嘀嗒”的意思，而在Intel的處理器發(fā)展戰(zhàn)略上，每一個嘀嗒代表著2年一次的工藝制程進步。每個Tick-Tock中的“Tick”，代表著工藝的提升、晶體管變小，并在此基礎(chǔ)上增強原有的微架構(gòu)，而Tick-Tock中的“Tock”，則在維持相同工藝的前提下，進行微架構(gòu)的革新，這樣在制程工藝和核心架構(gòu)的兩條提升道路上，總是交替進行。
根據(jù)摩爾定律，一個集成電路中可容納的晶體管數(shù)量每兩年就會翻一番，OpenAI 推測演算法效率可能會超過摩爾定律。
摩爾定律是在1965年提出來的，當時集成電路只有64個晶體管。
Open AI的研究結(jié)果表明，AI研發(fā)，研究人員時間和計算能力的投入更高，算法演進效率可能會超過硬件效率。
算法效率的提升使得研究人員可以在同等的時間和經(jīng)濟條件下做更多想做的實驗。除了作為衡量整體AI進步的指標，算法效率提升還加快了未來AI研究的速度，也意味著整體算力的提升。
其他衡量AI進展的指標
除了效率之外，還有許多其他的衡量標準也可以揭示AI的算法演進過程。
?
1 訓練成本（以美元為單位）也是相關(guān)的衡量標準，但不再取決于算法的進步，因為它還受到底層硬件、硬件利用率和云基礎(chǔ)設(shè)施的改進的影響。
2 采樣效率也很關(guān)鍵，尤其是當樣本數(shù)據(jù)不足時。訓練模型的能力也加快了研究的速度，可以被認為是對感興趣的學習能力的并行性的一種度量。
3 在 GPU 時間、參數(shù)和浮點運算方面，訓練模型推理效率也有所提高，但這主要是由于它們的經(jīng)濟影響而不是對未來研究進展的影響。推理效率在5年內(nèi)(每15個月翻一番)提高了18倍，這表明訓練效率和推理效率可能在相同的速率下得到提高。
算法效率演進將大幅推動行業(yè)發(fā)展
對于翻譯和游戲這樣的領(lǐng)域，如何用更少的算力來獲取更好的成績，提升大規(guī)模計算的效率是至關(guān)重要的。在重要能力方面實現(xiàn)最優(yōu)訓練效率的模型，可以用來規(guī)模化，來實現(xiàn)總體計算的最佳性能。
事實上，這項工作最初是通過訓練 PyTorch 示例模型來完成的，通過微調(diào)來提高早期學習的效率。
?
Open AI認為，測量算法效率提升的長期趨勢將有助于定量描繪整個算法演進的進程。研究表明，硬件和算法效率都是呈倍數(shù)增長的，一個良好的AI進步模型可以將二者相結(jié)合。
正是出于上述這些原因，Open AI開始公開測試最先進的算法效率。除了圖像和翻譯效率基準(ImageNet 和 WMT14) 測試以外，Open AI會考慮逐步增加更多的基準測試，同時Open AI鼓勵學界提交他更多的測量結(jié)果（原創(chuàng)作者和合作者也會受到相應的獎勵）。
值得注意的是，OpenAI 并不是第一個提出利用基準測試AI模型效率的公司。去年，艾倫人工智能研究所、卡內(nèi)基梅隆大學和華盛頓大學的科學家們主張將效率作為AI學術(shù)論文的一個更普遍的評估標準，與準確性和相關(guān)措施并列。還有人主張要求對機器學習項目進行行業(yè)級的耗能分析，并設(shè)定每瓦特運行算力的行業(yè)標準。
「行業(yè)領(lǐng)袖、政策制定者、經(jīng)濟學家和研究人員都在努力更好地理解人工智能的進展，并決定他們應該投入多少精力，并將研究重心放在何處，」OpenAI 寫道。「我們的這項測量工作可以幫助他們做出這樣的決定?！?/p>
論文結(jié)尾，Open AI展望了未來，「如果在未來的幾十年內(nèi)，我們觀察人工智能算法效率呈指數(shù)級倍增，我們不確定這會帶來什么。這些結(jié)果也意味著，我們正面向著一個AI服務和技術(shù)無比強大的未來。」
這個未來也許已經(jīng)近在咫尺。
?
總結(jié)
以上是生活随笔為你收集整理的超摩尔定律！OpenAI官宣AI算法效率每16个月翻一番的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： shujufenxi : shenzhe
- 下一篇： 没用过这些 IDEA 插件？怪不得写代码