2019獨(dú)角獸企業(yè)重金招聘Python工程師標(biāo)準(zhǔn)>>>

圖像到圖像轉(zhuǎn)化的任務(wù)是將一個(gè)給定圖像的特定方面改變到另一個(gè)方面，例如，將一個(gè)人的面部表情從微笑到皺眉改變（見(jiàn)圖1）。自從生成對(duì)抗網(wǎng)絡(luò)（GANs）的引入，這個(gè)任務(wù)經(jīng)歷了很大的發(fā)展，從改變發(fā)色，改變邊緣圖以重建照片，到改變風(fēng)景圖像的季節(jié)等。

圖1. 通過(guò)從RaFD數(shù)據(jù)集學(xué)習(xí)轉(zhuǎn)移知識(shí)，從而應(yīng)用到CelebA圖像轉(zhuǎn)化的多域的圖像到圖像轉(zhuǎn)化結(jié)果。第一列和第六列顯示輸入圖像，其余列是產(chǎn)生的StarGAN圖像。注意，圖像是由一個(gè)單一模型網(wǎng)絡(luò)生成的，面部表情標(biāo)簽如生氣、高興、恐懼是從RaFD學(xué)習(xí)的，而不是來(lái)自CelebA。

給定來(lái)自?xún)蓚€(gè)不同域的訓(xùn)練數(shù)據(jù)，這些模型學(xué)習(xí)如何將圖像從一個(gè)域轉(zhuǎn)換到另一個(gè)域。文章中將術(shù)語(yǔ)表示為圖像中固有的特征，如頭發(fā)顏色、性別或年齡，屬性值作為屬性的特定值，例如黑色/金色/棕色的頭發(fā)顏色，或性別的男性/女性等。我們進(jìn)一步將具有一系列相同屬性值的圖像設(shè)為一個(gè)域。例如，女性形象代表一個(gè)域，而男性代表另一個(gè)域。

幾個(gè)圖像數(shù)據(jù)集帶有許多標(biāo)記屬性。例如，在CelebA數(shù)據(jù)集包含40個(gè)標(biāo)簽的面部特征，如頭發(fā)的顏色、性別、年齡；RaFD數(shù)據(jù)集有8個(gè)表示面部表情的標(biāo)簽，如“快樂(lè)”，“憤怒”和“悲傷”。我們可以根據(jù)這些屬性設(shè)置執(zhí)行更有趣的任務(wù)，即多域圖像到圖像的轉(zhuǎn)換，我們根據(jù)多個(gè)域的屬性來(lái)改變圖像。圖1中，前5列展示了一個(gè)CelebA圖像可以根據(jù)任何四個(gè)域進(jìn)行轉(zhuǎn)化，“金發(fā)”、“性別”、“年齡”、“蒼白的皮膚”。我們可以進(jìn)一步延伸到從不同的數(shù)據(jù)集進(jìn)行多個(gè)域的訓(xùn)練，如共同訓(xùn)練的CelebA和RaFD圖像來(lái)改變CelebA圖像的面部表情，通過(guò)訓(xùn)練RaFD數(shù)據(jù)提取特征來(lái)作用于CelebA圖像，如在圖1的最右邊的列。

然而，現(xiàn)有的模型在多域圖像轉(zhuǎn)換任務(wù)中效率低下。這些模型的低效率是因?yàn)樵趯W(xué)習(xí)K域的時(shí)候，需要訓(xùn)練K（K?1）個(gè)生成器。圖2說(shuō)明了如何在四個(gè)不同的域之間轉(zhuǎn)換圖像的時(shí)候，訓(xùn)練十二個(gè)不同的生成器的網(wǎng)絡(luò)。即使它們可以從所有域圖像學(xué)習(xí)全局特征，如形狀特征學(xué)習(xí)，這種模型也是無(wú)效的，因?yàn)槊總€(gè)生成器不能充分利用整個(gè)訓(xùn)練數(shù)據(jù)，只能從K學(xué)習(xí)的兩個(gè)領(lǐng)域。未能充分利用訓(xùn)練數(shù)據(jù)很可能會(huì)限制生成圖像的質(zhì)量。此外，它們不能聯(lián)合訓(xùn)練來(lái)自不同域的數(shù)據(jù)集，因?yàn)槊總€(gè)數(shù)據(jù)集只有部分標(biāo)記，本文在3.2章進(jìn)一步討論。

圖2. 我們的StarGAN模型與其他跨域模型的比較。（a）為處理多個(gè)域，應(yīng)該在每一對(duì)域都建立跨域模型。（b）StarGAN用單個(gè)發(fā)生器學(xué)習(xí)多域之間的映射。該圖表示連接多個(gè)域的拓?fù)鋱D。

我有幾張阿里云幸運(yùn)券分享給你，用券購(gòu)買(mǎi)或者升級(jí)阿里云相應(yīng)產(chǎn)品會(huì)有特惠驚喜哦！把想要買(mǎi)的產(chǎn)品的幸運(yùn)券都領(lǐng)走吧！快下手，馬上就要搶光了。

為解決這些問(wèn)題我們提出了StarGAN，它是生成對(duì)抗網(wǎng)絡(luò)，能夠?qū)W習(xí)多個(gè)域之間的映射。如圖2（b）所示，文章中提出的模型接受多個(gè)域的訓(xùn)練數(shù)據(jù)，并且只使用一個(gè)生成器學(xué)習(xí)所有可用域之間的映射。這個(gè)想法是非常簡(jiǎn)單的。其模型不是學(xué)習(xí)固定的圖像轉(zhuǎn)化（例如，從黑發(fā)到金發(fā)），而是輸入圖像和域信息，學(xué)習(xí)如何靈活地將輸入圖像轉(zhuǎn)換到相應(yīng)的域中。文章中使用一個(gè)標(biāo)簽（二進(jìn)制或one hot向量）代表域信息。在訓(xùn)練過(guò)程中，隨機(jī)生成目標(biāo)域標(biāo)簽并訓(xùn)練模型，以便靈活地將輸入圖像轉(zhuǎn)換到目標(biāo)域。通過(guò)這樣做，可以控制域標(biāo)簽并在測(cè)試階段將圖像轉(zhuǎn)換成任何所需的域。

本文還引入了一種簡(jiǎn)單而有效的方法，通過(guò)將掩碼向量添加到域標(biāo)簽，使不同數(shù)據(jù)集的域之間進(jìn)行聯(lián)合訓(xùn)練。文章中所提出的方法使模型可以忽略未知的標(biāo)簽，并專(zhuān)注于有標(biāo)簽的特定數(shù)據(jù)集。在這種方式下，此模型對(duì)任務(wù)能獲得良好的效果，如利用從RaFD數(shù)據(jù)集學(xué)到的特征來(lái)在CelebA圖像中合成表情，如圖1的最右邊的列。據(jù)本文中提及，這篇工作是第一個(gè)成功地完成跨不同數(shù)據(jù)集的多域圖像轉(zhuǎn)化。

總的來(lái)說(shuō)，本文的貢獻(xiàn)如下：

提出了StarGAN，生成一個(gè)新的對(duì)抗網(wǎng)絡(luò)，只使用一個(gè)單一的發(fā)生器和辨別器實(shí)現(xiàn)多個(gè)域之間的映射，有效地從所有域的圖像進(jìn)行訓(xùn)練；

展示了如何在多個(gè)數(shù)據(jù)集之間學(xué)習(xí)多域圖像轉(zhuǎn)化，并利用掩碼向量的方法使StarGAN控制所有可用的域標(biāo)簽。

提供定性和定量的結(jié)果，對(duì)面部表情合成任務(wù)和面部屬性傳遞任務(wù)使用StarGAN，相比baseline模型顯示出它的優(yōu)越性。

原則上，文中提出的模型可以應(yīng)用于任何其他類(lèi)型的域之間的轉(zhuǎn)換問(wèn)題，例如，風(fēng)格轉(zhuǎn)換（style transfer），這是未來(lái)的工作方向之一。

轉(zhuǎn)載于:https://my.oschina.net/u/3611008/blog/1582188

總結(jié)

以上是生活随笔為你收集整理的【明星自动大变脸】最新StarGAN对抗生成网络实现多领域图像变换（附代码）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。