? ? ? ? ?好程序員大數(shù)據(jù)筆記之：Hadoop集群搭建在學習大數(shù)據(jù)的過程中，我們接觸了很多關(guān)于Hadoop的理論和操作性的知識點，尤其在近期學習的Hadoop集群的搭建問題上，小細節(jié)，小難點拼頻頻出現(xiàn)，所以，今天集中總結(jié)以下筆記，希望對各位同學有所幫助。ps：以下不涉及完全分布式，只說明單機版和偽分布式。

一、hadoop本地模式和偽分布式模式之間的區(qū)別

1.單機(非分布式)模式。這種模式在一臺單機上運行，沒有分布式文件系統(tǒng)，而是直接讀寫本地操作系統(tǒng)的文件系統(tǒng)。

2.偽分布式運行模式。這種模式也是在一臺單機上運行，但用不同的Java進程模仿分布式運行中的各類結(jié)點: (NameNode,DataNode,JobTracker,TaskTracker,SecondaryNameNode)。請注意分布式運行中的這幾個結(jié)點的區(qū)別：從分布式存儲的角度來說，集群中的結(jié)點由一個NameNode和若干個DataNode組成,另有一個SecondaryNameNode作為NameNode的備份;從分布式應用的角度來說，集群中的結(jié)點由一個JobTracker和若干個TaskTracker組成，JobTracker負責任務的調(diào)度，TaskTracker負責并行執(zhí)行任務。TaskTracker必須運行在DataNode上，這樣便于數(shù)據(jù)的本地計算。JobTracker和NameNode則無須在同一臺機器上。一個機器上，既當namenode，又當datanode,或者說既是jobtracker,又是tasktracker。沒有所謂的在多臺機器上進行真正的分布式計算，故稱為"偽分布式"。

二，hadoop本地模式的搭建

1.首先需要一臺客戶機。

2.安裝jdk。

1)首先在客戶機根目錄root文件夾下建立tools文件夾：root> mkdir tools。

2)用遠程連接工具連接客戶機，拖拽壓縮包到客戶機 root/tools/目錄下

3) 解壓jdk到/etc/local下：tar -zxvf jdk-8u152-linux-x64.tar.gz -C /usr/local/

3.安裝hadoop

1) 拖拽壓縮包到客戶機root/rools 目錄下。

2)解壓hadoop到etc/local/下：tar -zxvf hadoop-2.7.2.tar.gz -C /usr/local/。

4.配置環(huán)境變量

hadoop> vi /etc/profile

export JAVA_HOME=/usr/local/jdk1.8.0_152

export HADOOP_HOME=/usr/local/hadoop-2.7.2/

export CLASSPATH=.;JAVA_HOME/lib/dt.jar;JAVA_HOME/lib/tools.jar

export PATH=$JAVA_HOME/bi

PATH;HADOOP_HOME/bin;

HADOOP_HOME/sbin/;

5. hadoop version

java –version。以上兩項，都能正常顯示除版本號，即為環(huán)境搭建成功，以上步驟為本地模式搭建成功!

三，hadoop偽分布式模式的搭建(以上五步到配置環(huán)境搭建成功為基礎(chǔ))

1..配置集群

1)配置：hadoop-env.sh。Linux 系統(tǒng)中獲取jdk 的安裝路徑：/usr/local/jdk1.8.0_15并修改JAVA_HOME 路徑為：export JAVA_HOME=/opt/module/jdk1.8.0_144

2)配置：core-site.xml

?

3）配置：hdfs-site.xml

?

4)啟動集群。格式化namenode(第一次啟動時格式化，以后就不要總格式化) [qianfeng@hadoop101 hadoop-2.7.2]$ bin/hdfs namenode –format。啟動namenode。[qianfeng@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode。啟動datanode。[qianfeng@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanode

5)查看集群是否成功。[qianfeng@hadoop101 hadoop-2.7.2]$ jps。13586 NameNode。13668 DataNode。13786 Jps。//正常應該啟動這三個進程

6)查看產(chǎn)生的log日志。當前目錄：/usr/local/hadoop-2.7.2/logs>ls。

hadoop-qianfeng-datanode-hadoop.qianfeng.com.log

hadoop-qianfeng-datanode-hadoop.qianfeng.com.out

hadoop-qianfeng-namenode-hadoop.qianfeng.com.log

hadoop-qianfeng-namenode-hadoop.qianfeng.com.out

SecurityAuth-root.audit

cat hadoop-qianfeng-datanode-hadoop101.log

以上步驟即為偽分布式搭建成功!

學習大數(shù)據(jù)開發(fā)，可以參考好程序員提供的大數(shù)據(jù)學習路線，該學習路線提供完整的大數(shù)據(jù)開發(fā)知識體系，內(nèi)容包含Linux&&Hadoop生態(tài)體系、大數(shù)據(jù)計算框架體系、云計算體系、機器學習&&深度學習。

總結(jié)

以上是生活随笔為你收集整理的好程序员大数据笔记之：Hadoop集群搭建的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。