华为诺亚开源贝叶斯优化库：超参数调优河伯、组合优化器CompBO
?作者?|?陳萍、杜偉
來(lái)源?|?機(jī)器之心
華為諾亞開(kāi)源了一個(gè)貝葉斯優(yōu)化的庫(kù)，該庫(kù)包含三個(gè)部分：河伯、T-LBO、CompBO。
貝葉斯優(yōu)化可以說(shuō)是一種黑盒優(yōu)化算法，該算法用于求解表達(dá)式未知函數(shù)的極值問(wèn)題。因其具有極強(qiáng)的樣本有效性，近年來(lái)被廣泛使用，研究者只需較少地迭代次數(shù)，即可得到一個(gè)較好的結(jié)果，因此可用于機(jī)器學(xué)習(xí)模型算法調(diào)參。
近日，華為諾亞開(kāi)源了一個(gè)新的關(guān)于貝葉斯優(yōu)化的庫(kù)，該庫(kù)可用于低維和高維領(lǐng)域的貝葉斯優(yōu)化，主要包含：
河伯（Heteroscedastic Evolutionary Bayesian Optimization，HEBO）：異方差演化貝葉斯優(yōu)化，可用于超參數(shù)調(diào)優(yōu)，華為諾亞憑借該算法贏得 NeurIPS BBO 競(jìng)賽冠軍；
T-LBO：一種將深度度量學(xué)習(xí)與潛在空間貝葉斯優(yōu)化相結(jié)合以實(shí)現(xiàn)高維優(yōu)化的算法，該算法可以減少 97% 的數(shù)據(jù)需求；
CompBO：使用組合優(yōu)化器進(jìn)行貝葉斯優(yōu)化。
項(xiàng)目地址：
https://github.com/huawei-noah/HEBO
河伯
河伯算法是華為諾亞方舟決策與推理（DMnR）實(shí)驗(yàn)室開(kāi)發(fā)的貝葉斯優(yōu)化庫(kù)。該算法擊敗了 NVIDIA、IBM、Jetbrain 等，以 93.519 得分贏得了 AI 國(guó)際頂會(huì) NeurIPS 2020 的黑盒優(yōu)化競(jìng)賽冠軍。
HEBO 是與前 5 名競(jìng)爭(zhēng)對(duì)手之間差異最大的算法，以非常大的優(yōu)勢(shì)獲勝。下面是比賽結(jié)果的截圖：
完整榜單：
https://bbochallenge.com/leaderboard/
T-LBO 算法
該算法出自論文《High-Dimensional Bayesian Optimisation with Variational Autoencoders and Deep Metric Learning》，全篇 42 頁(yè)，研究者來(lái)自華為諾亞方舟實(shí)驗(yàn)室。
論文地址：
https://arxiv.org/pdf/2106.03609.pdf
研究者提出了一種基于深度度量學(xué)習(xí)的方法，以使用變分自編碼器（VAE）在高維結(jié)構(gòu)化空間中執(zhí)行貝葉斯優(yōu)化。通過(guò)擴(kuò)展監(jiān)督深度度量學(xué)習(xí)的想法，他們解決了高維 VAE 貝葉斯優(yōu)化中長(zhǎng)期存在的一個(gè)問(wèn)題，即如何將判別式隱空間作為歸納偏置來(lái)執(zhí)行。重要的是，研究者僅使用以往工作的 1% 的標(biāo)記數(shù)據(jù)就實(shí)現(xiàn)了這種歸納偏置，顯示出了所提方法面向樣本的高效性。
在實(shí)驗(yàn)中，研究者展示了在真實(shí)世界高維黑盒優(yōu)化問(wèn)題（包括屬性引導(dǎo)的分子生成）上的 SOTA 結(jié)果。他們希望，本文展示的結(jié)果可以作為實(shí)現(xiàn)高效高維貝葉斯優(yōu)化的指導(dǎo)原則。
利用組合優(yōu)化器做貝葉斯優(yōu)化（CompBO）
這是一篇發(fā)表在機(jī)器學(xué)習(xí)研究雜志 JMLR 2021 上的論文，標(biāo)題為《Are We Forgetting about Compositional Optimisers in Bayesian Optimisation?》，全篇共 78 頁(yè)。研究者來(lái)自華為英國(guó)研發(fā)中心。
論文地址：
https://www.jmlr.org/papers/volume22/20-1422/20-1422.pdf
項(xiàng)目地址：?
https://github.com/huawei-noah/noah-research/tree/CompBO/BO/HEBO/CompBO
貝葉斯優(yōu)化為全局優(yōu)化提供了一種面向樣本高效的方法。在這個(gè)框架內(nèi)，采集函數(shù)（acquisition function）的最大化是決定性能的關(guān)鍵因素。但是，由于采集函數(shù)往往是非凸的，因此不容易優(yōu)化，導(dǎo)致其最大化變得復(fù)雜。
華為的這篇論文對(duì)最大化采集函數(shù)的方法進(jìn)行了全面的實(shí)證研究。此外，通過(guò)為流行的采集函數(shù)推導(dǎo)出全新但數(shù)學(xué)上等效的組合形式，研究者將采集函數(shù)的最大化任務(wù)重新定義為組合優(yōu)化問(wèn)題，從而能夠從領(lǐng)域大量文獻(xiàn)中獲益。他們特別強(qiáng)調(diào)了 3,958 個(gè)單獨(dú)實(shí)驗(yàn)中采集函數(shù)最大化組合方法的實(shí)證優(yōu)勢(shì)，這些實(shí)驗(yàn)包括組合優(yōu)化任務(wù)和貝葉斯任務(wù)。
鑒于采集函數(shù)最大化方法的通用性，研究者認(rèn)為采用組合優(yōu)化器有可能在當(dāng)前貝葉斯優(yōu)化應(yīng)用的所有領(lǐng)域內(nèi)實(shí)現(xiàn)性能提升。
特別鳴謝
感謝 TCCI 天橋腦科學(xué)研究院對(duì)于 PaperWeekly 的支持。TCCI 關(guān)注大腦探知、大腦功能和大腦健康。
更多閱讀
#投 稿?通 道#
?讓你的文字被更多人看到?
如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識(shí)的人。
總有一些你不認(rèn)識(shí)的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?
PaperWeekly 鼓勵(lì)高校實(shí)驗(yàn)室或個(gè)人，在我們的平臺(tái)上分享各類(lèi)優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)術(shù)熱點(diǎn)剖析、科研心得或競(jìng)賽經(jīng)驗(yàn)講解等。我們的目的只有一個(gè)，讓知識(shí)真正流動(dòng)起來(lái)。
📝?稿件基本要求：
? 文章確系個(gè)人原創(chuàng)作品，未曾在公開(kāi)渠道發(fā)表，如為其他平臺(tái)已發(fā)表或待發(fā)表的文章，請(qǐng)明確標(biāo)注?
? 稿件建議以?markdown?格式撰寫(xiě)，文中配圖以附件形式發(fā)送，要求圖片清晰，無(wú)版權(quán)問(wèn)題
? PaperWeekly 尊重原作者署名權(quán)，并將為每篇被采納的原創(chuàng)首發(fā)稿件，提供業(yè)內(nèi)具有競(jìng)爭(zhēng)力稿酬，具體依據(jù)文章閱讀量和文章質(zhì)量階梯制結(jié)算
📬?投稿通道：
? 投稿郵箱：hr@paperweekly.site?
? 來(lái)稿請(qǐng)備注即時(shí)聯(lián)系方式（微信），以便我們?cè)诟寮x用的第一時(shí)間聯(lián)系作者
? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿
△長(zhǎng)按添加PaperWeekly小編
🔍
現(xiàn)在，在「知乎」也能找到我們了
進(jìn)入知乎首頁(yè)搜索「PaperWeekly」
點(diǎn)擊「關(guān)注」訂閱我們的專(zhuān)欄吧
·
總結(jié)
以上是生活随笔為你收集整理的华为诺亚开源贝叶斯优化库：超参数调优河伯、组合优化器CompBO的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： 首次开源！一行代码轻松搞定中英文语音识别
- 下一篇： 大同晋瑞是不是国资盘