手把手教你搭建深度学习环境
最近實驗室買了一臺新的機器,正好要從頭配置機器的環境,把環境記錄一下
1.安裝ubuntu系統
1.1制作系統盤
首先,我們需要準備三個東西
- ubuntu的鏡像文件,我這里選擇的是ubuntu-20.04.2.0-desktop-amd64.iso
- 鏡像制作軟件UISO9
- 一個空的U盤
有個這三樣我們就可以開始安裝我們的ubuntu系統了。
我們需要先安裝好UISO9,制作U盤鏡像系統。其中不需要購買軟件,只需要試用即可。
第一步:打開我們下載好的iso文件
第二步:選擇啟動,點擊寫入硬盤映像,并確認硬盤驅動器是你U盤,映像文件是你下載的ISO文件,點擊寫入,三四分鐘后即可寫入完成
1.2 系統安裝
我們要在自己本身的要在系統中劃出一部分空間來存放ubuntu系統,所以我把分出了400G的硬盤用來安裝ubuntu系統。
我們在安裝系統之前,還是需要按F2進入機器的bios,修改幾個設置,
這兩步中根據品牌的不同,位置也是不同的,在列表中仔細尋找到該位置即可。
設置完以后,重新啟動電腦,按F12,選擇啟動的順序,這個時候我們需要選擇U盤選項進行啟動,我們會進入U盤引導項,選擇install Ubuntu即可。
接下來就是我們安裝ubuntu系統的過程了,一定要注意在安裝的時候要斷網安裝!
然后我們選擇剛開始在window上劃分出來給ubuntu系統的空間,點擊+號,把掛載點選擇成 / 即為根目錄。最后點擊現在安裝。
下面一步選擇時段直接繼續就行,然后在設置一個登陸的名字和密碼,點擊繼續后等待安裝。
這樣Ubuntu系統就安裝完畢了。裝系統的內容可以參考這篇博客,寫的超級詳細
安裝以后發現一個巨大的坑,就是ubuntu無法聯網,經過搜索各種博客,最終解決,可查看這篇博客
接下來我們要對ubuntu系統進行換源,這里也解釋一下為什么在安裝ubuntu的時候特意強調一定要斷網在安裝,因為ubuntu安裝過程中會下載很多東西,因為國內網絡原因,網速會特別的慢,這樣會導致我們好幾個小時都安裝不好ubuntu。
接下來我們將軟件源更換成國內的
2. 安裝Anaconda
進入官網下載anaconda,也可以使用清華源下載這個會快一些
下載好后,我們開始安裝anaconda
bash Anaconda3-2019.03-Linux-x86_64.sh接下來回車繼續,后面會出現一堆的License許可聲明,按Q,就會到底部,出現下面如圖輸入yes,回車
接下來是確認安裝目錄,我們也是回車
接下來是詢問是否進入系統我們就初始化環境,我們這里選擇no
出現下面的內容即為安裝成功。
因為我們在初始化的時候選擇的是no,所以我們需要手動的配置conda的環境變量。
# 在終端輸入,這里的/home/gh/anaconda/bin就是你安裝anaconda的路徑下的bin文件夾 echo 'export PATH="/home/gh/anaconda/bin:$PATH"' >> ~/.bashrc# 更新文件source ~/.bashrc怎么查看我們安裝是否成功呢?運行下面這個命令,要是顯示的是你的anaconda的python環境,那就是對的。
which python安裝好anaconda3后,需要給anaconda換成國內的鏡像源
我們可以直接運行下面的內容進行修改鏡清華源像源:
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/ conda config --append channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/fastai/ conda config --append channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/ conda config --append channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/bioconda/# 搜索時顯示通道地址 conda config --set show_channel_urls yes但是這樣運行完以后,配置文件會是這樣:
我們需要把- default那一行刪除掉
因為要后面可能需要科學上網,所以請大家自行學習科學上網方式,使用科學上網,會讓你的安裝環境過程減少一大半的問題。
3. 安裝 CUDA
首先,我們需要去CUDA官網下載,普通網絡可能進去有點慢,所有最好可以科學上網。
選擇自己想要下載的版本,這里我下載的CUDA11.0,選擇runfile版本的下載。
.run形式安裝cuda,清理原有顯卡驅動后,先安裝自己顯卡對應的驅動。
.deb形式安裝cuda,由于會默認安裝自帶的舊版本驅動,故安裝成功后,卸載此驅動,再重新安裝顯卡對應的驅動。
下面會給出下載命令行
wget http://developer.download.nvidia.com/compute/cuda/11.0.2/local_installers/cuda_11.0.2_450.51.05_linux.run這里如果wget下載比較慢的話,可以配置wget后面的鏈接到迅雷,通過它下載這樣會快一些。
下載完后,我們安裝前先看一下nvidia的驅動
nvidia-smi標1的位置你現在nvidia驅動的版本,標2的位置是安裝CUDA的最高版本
這里一定要對應好自己下載的CUDA版本與NVIDIA Driver與Linux與GCC的版本對應關系,可參考博客查看對應關系
執行安裝命令:
sudo sh cuda_11.0.2_450.51.05_linux.run安裝的時候會出現下圖,選擇continue,這里網上有一些博客會說移除掉現有的Nvidia驅動,其實并不需要,保證現裝的驅動版本正確即可,還有一些博客會讓你禁用nouveau,并且卸載點圖形界面,重新安裝自己下載的驅動,我試過…然后系統崩潰了,又重新裝系統從頭配環境…
下一步,我們輸入accept
再下一步,因為我們已經有驅動,一定要把Driver這一個給勾掉,不要選他,按回車就可以取消勾選了,最后選擇Install,安裝
最后安裝完畢以后會出現:
安裝好以后,需要配置環境變量
sudo gedit ~/.bashrc在最后面加上
# CUDA Soft Link export PATH=/usr/local/cuda-11.0/bin${PATH:+:${PATH}} export LD_LIBRARY_PATH=/usr/local/cuda-11.0/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}刷新一下:
source ~/.bashrc測試CUDA是否安裝成功,輸入
nvcc -V顯示如下,安裝成功
4. 安裝cuDNN
首先我們需要下載cuDNN,下載的時候我們需要他的官網需要我們注冊登錄才可以下載,但是他注冊登錄的功能還是崩潰的…我們需要繞過他的注冊登錄
點擊這里下載,找到自己對應版本的cuDNN,這里我選擇cuDNN8.1.1。
點擊右鍵有一個復制鏈接地址,把這個地址復制到迅雷上,就可以避免注冊和登陸,但是有的版本采用這種方法下載的時候,迅雷會一直顯示連接資源,出現這種情況,就只能老老實實注冊登陸吧。
下載好以后,首先解壓:
tar -xvf cudnn-11.2-linux-x64-v8.1.0.77.tgz復制解壓出來的文件到安裝好的CUDA環境中,輸入:
sudo cp cuda/include/cudnn.h /usr/local/cuda/include sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64 # 更改權限輸入 sudo chmod a+r /usr/local/cuda/include/cudnn.h /usr/local/cuda/lib64/libcudnn*5.配置SSH & 遠程桌面
5.1 配置SSH
因為在學校里面,只要連接校園網就是在同一個局域網下,我將ubuntu系統配置SSH,用于遠程連接使用。
sudo apt install ssh會自動安裝好很多依賴包并啟動服務,完成之后用XShell等軟件就可以SSH登錄服務器了。
5.2配置遠程桌面
為了方便的可以直接在局域網下遠程控制桌面版Ubuntu,安裝一下Xrdp,Xrdp是一個開源工具,允許用戶通過Windows RDP訪問Linux遠程桌面。 除了Windows RDP之外,xrdp工具還接受來自其他RDP客戶端的連接,如FreeRDP,rdesktop和NeutrinoRDP。 Xrdp現在支持TLS安全層,這樣就可以使用window自帶的遠程工具進行遠程控制了。
還有一點要注意:有的Xwindow軟件是不太兼容xrdp的(比如ubuntu 18.04的默認桌面),但是ubuntu 20.04使用的Gnome是完全ok的。
安裝過程如下:
sudo apt install xrdp安裝完成xrdp 服務將會自動啟動,可以輸入下面的命令驗證它:
sudo systemctl status xrdp輸出會是這個樣子
● xrdp.service - xrdp daemon
Loaded: loaded (/lib/systemd/system/xrdp.service; enabled; vendor preset: enabled)
Active: active (running) since Fri 2020-05-22 17:36:16 UTC; 4min 41s ago
…
默認情況下,Xrdp 使用/etc/ssl/private/ssl-cert-snakeoil.key,它僅僅對“ssl-cert” 用戶組成語可讀。運行下面的命令,將xrdp用戶添加到這個用戶組:
sudo adduser xrdp ssl-cert重啟 Xrdp 服務,使得修改生效:
sudo systemctl restart xrdp這樣就可以使用window自帶的遠程控制電腦了。
我在配置完以后還是出現了一點問題,在連接成功后遠程一直是黑屏,要是同樣出現這種情況,可以采用下面的方法進行解決:
vim /etc/xrdp/startwm.sh在文件中添加
unset DBUS_SESSION_BUS_ADDRESS unset XDG_RUNTIME_DIR最后重啟使配置生效:
sudo systemctl restart xrdp總結
以上是生活随笔為你收集整理的手把手教你搭建深度学习环境的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 苏银凯基消金获批筹建,三大股东上半年业绩
- 下一篇: 解决:(iptables failed: