問題：

torch.backends.cudnn.benchmark = True

在利用pytorch進行網絡訓練時總會見到這行代碼，這句有什么用呢？查了一些資料才知道是個非必須項，那加了有什么用呢？有沒有什么準則呢？

用途：

大部分情況下，設置這個 flag 可以讓內置的 cuDNN 的 auto-tuner 自動尋找最適合當前配置的高效算法，來達到優化運行效率的問題。

準則：

如果網絡的輸入數據維度或類型上變化不大，設置? torch.backends.cudnn.benchmark = true? 可以增加運行效率；

如果網絡的輸入數據在每次 iteration 都變化的話，會導致 cnDNN 每次都會去尋找一遍最優配置，這樣反而會降低運行效率。

?

總結

以上是生活随笔為你收集整理的pytorch——torch.backends.cudnn.benchmark = True的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。