遇到的問題如下：
網(wǎng)上的帖子一般比較重步驟，每一步都很詳細，但沒有說明為什么，讀者容易因為不知道為什么，而忽視一些問題，安裝出錯也不知道如何解決。所以寫上一些為什么還是必要的。
1.SSH問題
1）集群配置中需要配置Master和Slave間的ssh無密碼訪問。需要的是master能夠無密碼訪問slave中的每臺機器，slave也能無密碼訪問master。Slave間不需要無密碼訪問彼此。這是因為hadoop的中心管理機制，master需要向slave傳送管理、控制信息，slave需要向master匯報節(jié)點的情況等。這期間需要無密碼訪問，而slave間沒有直接的通信。
2）相同用戶名和機器名的問題。如果集群中機器的用戶名和機器名都相同會造成SSH無密碼訪問的失敗。SSH無密碼訪問的機制，大概的說是目標機器將公鑰傳給主機，主機存在文件中，當主機想要訪問目標機器時，直接從文件中讀取密碼，不需要再手動輸入。而一臺機器可能保存多臺機器的公鑰，這就需要key來查找。在安裝時發(fā)現(xiàn)公鑰中用“用戶名@機器名”的字樣。發(fā)現(xiàn)如果用戶名和機器名完全相同會造成密碼查找失敗。說明key值可能和用戶名和機器名有關。這時需要修改機器名，因為相同的用戶名能夠簡化配置。
3）別名?？梢孕薷?etc/hosts文件，將集群中的機器的ip與一個別名相對應，這樣配置時只需記住別名，不需要記住ip。
4）相同用戶名。很多安裝步驟中都說要創(chuàng)建一個單獨的用于hadoop的用戶名。相同的用戶名可以使配置簡單。master和slaves的配置只需要配置ip，不需要再使用用戶名@ip的形式。并且ssh時也不再需要用戶名@ip的形式，直接ssh <ip>即可。。
5）修改/etc/hosts。修改/etc/hosts會造成ssh無密碼訪問失效。重啟可能能夠解決問題。我是重新配置了無密碼訪問。重啟是否起作用下次再試。
2.配置文件問題
必須要配置的幾個xml中，<>標簽中配置的東西盡量不要有空格。配置地址和端口的地方，地址是已hdfs://開頭。

?

轉(zhuǎn)載于:https://www.cnblogs.com/moonc/archive/2013/04/07/3013050.html

總結(jié)

以上是生活随笔為你收集整理的hadoop集群配置问题及思考的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。