馬賽克的克星，真的來了！

今天跟大家聊聊 MAE，何愷明大神的新作。

我們先說下 MAE 的任務(wù)：

簡單講：將圖片隨機遮擋，然后復(fù)原。

并且遮擋的比例，非常大！超過整張圖的 80% ，我們直接看效果：

第一列是遮擋圖，第二列是修復(fù)結(jié)果，第三列是原圖。

圖片太多，可能看不清，我們單看一個：

看這個遮擋的程度，表針、表盤幾乎都看不見了。但是 MAE 依然能夠修復(fù)出來：

這個效果真的很驚艷！

甚至對于遮擋 95% 面積的圖片依然 work。

看左圖，你能看出來被遮擋的是蘑菇嗎？？

MAE 卻能輕松修復(fù)出來。

MAE

MAE 的意義不僅在這個修復(fù)遮擋，去掉 mask 本身。更在于為 CV 領(lǐng)域大一統(tǒng)的預(yù)訓(xùn)練模型提供了無限的想象。

做過 NLP 的小伙伴應(yīng)該知道，在 NLP 任務(wù)中，Bert 已經(jīng)一統(tǒng)江湖。各子任務(wù)（如翻譯、生成、文本理解等）均可使用相同的無監(jiān)督預(yù)訓(xùn)練模型。這保證了每個任務(wù)都能有非常不錯的效果。

但在 CV 任務(wù)中，卻各玩各的，分類任務(wù)有自己的無監(jiān)督學(xué)習(xí)，檢測任務(wù)有自己的無監(jiān)督學(xué)習(xí)，每個 CV 領(lǐng)域的子任務(wù)，都有自己一套無監(jiān)督學(xué)習(xí)，一直無法統(tǒng)一。

而 MAE 一出，可以想象大一統(tǒng)的 CV 無監(jiān)督預(yù)訓(xùn)練模型的時代已不遠(yuǎn)矣。

可能這段話，一些剛?cè)腴T的小伙伴看不太懂。

沒關(guān)系，慢慢學(xué)。學(xué)了 Bert，你就明白這意味著什么了。MAE 就是類似 Bert 存在的東西，可以認(rèn)為它就是 Bert 的一個 CV 版。

接下來簡單講解下 MAE。

Vit

講解 MAE 之前不得不先說下 Vit。

紅遍大江南北的 Vision Transformer，ViT。

領(lǐng)域內(nèi)的小伙伴，或多或少都應(yīng)該聽說過。

它將 Transformer 應(yīng)用到了 CV 上面，將整個圖分為 16 * 16 的小方塊，每個方塊做成一個詞，然后放進(jìn) Transformer 進(jìn)行訓(xùn)練。

從 ViT 開始，CV 小伙伴們終于可以更優(yōu)雅地使用 Transformer了。

MAE

MAE 結(jié)構(gòu)設(shè)計得非常簡單：

將一張圖隨機打 Mask，未 Mask 部分輸入給 Encoder 進(jìn)行編碼學(xué)習(xí)，這個 Encoder 就是 Vit，然后得到每個塊的特征。

再將未 Mask 部分以及 Mask 部分全部輸入給 Decoder 進(jìn)行解碼學(xué)習(xí)，最終目標(biāo)是修復(fù)圖片。

而 Decoder 就是一個輕量化的 Transformer。它的損失函數(shù)就是普通的 MSE。

所以說， MAE 的 Encoder 和 Decoder 結(jié)構(gòu)不同，是非對稱式的。Encoder 將輸入編碼為 latent representation，而 Decoder 將從 latent representation 重建原始信號。

更詳細(xì)的細(xì)節(jié)大家可以直接看看論文：

https://arxiv.org/abs/2111.06377

算法測試

官方剛剛開源6天，就已經(jīng)獲得了1.5k+的 Star，關(guān)注度可見一斑。

項目地址：

https://github.com/facebookresearch/mae

項目提供了 Colab，如果你能登錄，那么可以直接體驗：

https://colab.research.google.com/github/facebookresearch/mae/blob/main/demo/mae_visualize.ipynb

如果不能登錄，可以直接本地部署，作者提供了預(yù)訓(xùn)練模型。

一起看下我跑的效果：

這個修復(fù)效果，你打幾分？

最后

MAE 可以用來生成不存在的內(nèi)容，就像 GAN 一樣。

很多小伙伴可能又有了一些“大膽”的想法，不過玩笑歸玩笑，自己玩玩就好，大家還是要遵紀(jì)守法哦~

各位伙伴們好，詹帥本帥搭建了一個個人博客和小程序，匯集各種干貨和資源，也方便大家閱讀，感興趣的小伙伴請移步小程序體驗一下哦！（歡迎提建議）推薦閱讀牛逼！Python常用數(shù)據(jù)類型的基本操作（長文系列第①篇） 牛逼！Python的判斷、循環(huán)和各種表達(dá)式（長文系列第②篇）牛逼！Python函數(shù)和文件操作（長文系列第③篇）牛逼！Python錯誤、異常和模塊（長文系列第④篇） 與50位技術(shù)專家面對面20年技術(shù)見證，附贈技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的马赛克，克星，真来了！的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。