戳藍字“CSDN云計算”關注我們哦！

2006年項目成立的一開始,“Hadoop”這個單詞只代表了兩個組件——HDFS和MapReduce。到現在的13個年頭,這個單詞代表的是“核心”，今天我們就來看看關于Hadoop的精華問答。

1

??Q：NameNode是什么？

A：NameNode 是一個通常在 HDFS 實例中的單獨機器上運行的軟件。?它負責管理文件系統名稱空間和控制外部客戶機的訪問。NameNode 決定是否將文件映射到 DataNode 上的復制塊上。對于最常見的 3 個復制塊，第一個復制塊存儲在同一機架的不同節點上，最后一個復制塊存儲在不同機架的某個節點上。NameNode本身不可避免地具有SPOF（Single Point Of Failure）單點失效的風險，主備模式并不能解決這個問題，通過Hadoop Non-stop namenode才能實現100% uptime可用時間。

2

Q：DataNode如何理解？

A：DataNode 也是一個通常在 HDFS實例中的單獨機器上運行的軟件。Hadoop 集群包含一個 NameNode 和大量 DataNode。DataNode 通常以機架的形式組織，機架通過一個交換機將所有系統連接起來。Hadoop 的一個假設是：機架內部節點之間的傳輸速度快于機架間節點的傳輸速度。

DataNode 響應來自 HDFS 客戶機的讀寫請求。它們還響應來自 NameNode 的創建、刪除和復制塊的命令。NameNode 依賴來自每個 DataNode 的定期心跳（heartbeat）消息。每條消息都包含一個塊報告，NameNode 可以根據這個報告驗證塊映射和其他文件系統元數據。如果 DataNode 不能發送心跳消息，NameNode 將采取修復措施，重新復制在該節點上丟失的塊。

3

? ? ? Q：如何理解Google集群系統原型？

A：Google的數據中心使用廉價的Linux PC機組成集群，在上面運行各種應用。核心組件是3個：

(a)?GFS（Google File System）。一個分布式文件系統，隱藏下層負載均衡，冗余復制等細節，對上層程序提供一個統一的文件系統API接口。Google根據自己的需求對它進行了特別優化，包括：超大文件的訪問，讀操作比例遠超過寫操作，PC機極易發生故障造成節點失效等。GFS把文件分成64MB的塊，分布在集群的機器上，使用Linux的文件系統存放。同時每塊文件至少有3份以上的冗余。中心是一個Master節點，根據文件索引，找尋文件塊。詳見Google的工程師發布的GFS論文。

(b)?MapReduce。Google發現大多數分布式運算可以抽象為MapReduce操作。Map是把輸入Input分解成中間的Key/Value對，Reduce把Key/Value合成最終輸出Output。這兩個函數由程序員提供給系統，下層設施把Map和Reduce操作分布在集群上運行，并把結果存儲在GFS上。

(c)?BigTable。一個大型的分布式數據庫，這個數據庫不是關系式的數據庫。像它的名字一樣，就是一個巨大的表格，用來存儲結構化的數據。

4

Q：Hadoop1.x與Hadoop2.x的區別？

A：Hadoop2.x中有兩個重要的變更：

(a)HDFS的NameNode可以以集群的方式部署，增強了NameNode的水平擴展能力和可用性?

(b)MapReduce將JobTrack中的資源管理及任務生命周期管理（包括定時觸發及監控），拆分成兩個獨立的組件，并更名為YARN

5

??Q：Hadoop2.x解決了Hadoop1.x中的哪些問題

A：(a)2.x解決了1.x中的namenode單點故障問題?

(b)解決了namenode內存壓力過大難以擴展問題?

(c)解決了JobTrack單點故障問題?

(d)解決了JobTrack訪問壓力過大問題?

(e)解決了對MapReduce之外的框架支持問題

小伙伴們沖鴨，后臺留言區等著你！

關于Hadoop，今天你學到了什么？還有哪些不懂的？除此還對哪些話題感興趣？快來留言區打卡啦！留言方式：打開第XX天，答：……

同時歡迎大家搜集更多問題，投稿給我們！風里雨里留言區里等你~

福利

掃描添加小編微信，備注“姓名+公司職位”，加入【云計算學習交流群】，和志同道合的朋友們共同打卡學習！

推薦閱讀：

• 圖解分布式架構的發展和演進 | 技術干貨

• Docker 系列學習文章 | 什么是容器云？

• 任正非：華為海思芯片不是“備胎”！

• 揭秘清華 AI 學堂班：姚期智擔任首席教授，2019 年首批招收 30 人

• Google Android 向華為“閉源”！華為手機迎來至暗時刻！

• "兩年前我對區塊鏈的了解為零, 兩年后我成了工程師" 我是如何得到第一份工作的?

• 《使女的故事》大火，AI是背后最大推手？
  

真香，朕在看了！

總結

以上是生活随笔為你收集整理的Hadoop精华问答 | NameNode是什么？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。