調試處理

對于超參數，如何才能找到一個比較好的設定呢？

如圖所示，我們可能會需要調試很多的超參數。但其中最重要的超參數還是學習率。被紅色圈住的是最重要的超參數，橙色的是次重要的超參數。紫色是再其次重要的。

如果想調試一系列的超參數，具體應該怎么做呢？

如圖所示，我們通常情況下會采用圖中右側所示的情況來選擇超參數，比如說二維情況下，我們確定選擇范圍之后隨機選點，然后看看這個超參數效果好不好。三維也是如此。

我們還有一種超參數的選擇策略

如圖所示，這是一個從粗糙到精細的過程，比如說，如果你發現了某一個超參數比較好，然后就在這個更小的范圍內去選項超參數，縮小選擇范圍可能會得到更好的結果。

為超參數選擇合適的范圍

我們上面介紹的隨機提取并不是在有效范圍內隨機的均勻取值，而是選擇合適的標尺，用來探究這些超參數。

如圖所示，這是對參數的取值范圍選取，看到均勻選取可能是合適的，但這個對于超參數而言并不成立，我們來看一下超參數是如何選取的。

如圖所示，我們來看一個學習率的例子。我們如果使用均勻取值的話，那么0.1-1的概率將會占到90%，而0.001-0.1的范圍只占到了10%，這就十分不合理了，所以我們使用對數標尺來搜索超參數。取值方法如圖所示。

另外一個比較棘手的問題是對ββ取值，比如他的搜索范圍是從0.9-0.999

這里的0.9就相當于對10天的情況取平均，而0.999相當于對1000天的情況取平均。所以，不能使用隨機平均來選取這些超參數，也要用對數的形式。

如圖所示，我們換成了1?β1?β的形式，然后對數處理，在[-3,-1]里面取平均就可以了。通過這種方法就可以實現了從0.9-0.99和0.99-0.999取值一樣多的情況。

因為ββ是指數加權平均，所以一定要用對數處理一下，才能達到真正的平均。

吳教主深度學習和神經網絡課程總綱

總結

以上是生活随笔為你收集整理的2.3.1 为超参数选择合适的范围的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。