降噪自动编码器:DAEs
生活随笔
收集整理的這篇文章主要介紹了
降噪自动编码器:DAEs
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
什么是自動降噪編碼器?
就是我們使用無監督的方式:完成自動降低數據中的無關緊要信息的方法:
理解一下這個東西
- 1.這里的dropout到底是做什么的?
我們想這樣的一個問題,如果我們不使用dropout,那么訓練出來的東西,很有可能只是將原來的內容直接拷貝一份,顯然和我們的初衷不一樣,所以我們需要丟到一部分,讓模型學會從其他剩下的信息當中恢復這個。而不是直接得到這個。 - 2.這里其實我們不難證明這個東西的結果(a1,a2。。。an)當中的aj是一定不來自aj(或者描述為很少來自aj)的,
因為如果輸出當中的aj很大程度來自原來的ak的時候,這時候aj在dropout隨機丟棄這個和隨機不丟棄這個的時候,輸出結果將會有很大差異。所以說這個dropout還是十分有用的。 - 3.我們注意這里其實不難發現這里的的其實就是從a到a的一個過程,最后的損失函數就是判斷兩個像不像。
總結
以上是生活随笔為你收集整理的降噪自动编码器:DAEs的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 对比学习系列论文MoCo v1(二):M
- 下一篇: conda环境下如何升级python?