Hadoop是一個分布式系統(tǒng)基礎(chǔ)架構(gòu)，由Apache基金會開發(fā)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力高速運算和存儲。Hadoop實現(xiàn)了一個分布式文件系統(tǒng)，簡稱HDFS。HDFS有著高容錯性的特點，并且設(shè)計用來部署在低廉的硬件上。而且它提供高傳輸率來訪問應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集的應(yīng)用程序。HDFS放寬了（relax）POSIX的要求這樣可以流的形式訪問文件系統(tǒng)中的數(shù)據(jù)。

Hadoop這個名字不是一個縮寫，它是一個虛構(gòu)的名字。該項目的創(chuàng)建者，Doug Cutting如此解釋Hadoop的得名：“這個名字是我孩子給一個棕黃色的大象樣子的填充玩具命名的。我的命名標(biāo)準(zhǔn)就是簡短，容易發(fā)音和拼寫，沒有太多的意義，并且不會被用于別處。小孩子是這方面的高手。”Hadoop是最受歡迎的在網(wǎng)絡(luò)上對搜索關(guān)鍵字進行內(nèi)容分類的工具，但它也可以解決許多要求極大伸縮性的問題。

Hadoop是一個能夠?qū)Υ罅繑?shù)據(jù)進行分布式處理的軟件框架。但是Hadoop是以一種可靠、高效、可伸縮的方式進行處理的。Hadoop 是可靠的，因為它假設(shè)計算元素和存儲會失敗，因此它維護多個工作數(shù)據(jù)副本，確保能夠針對失敗的節(jié)點重新分布處理。Hadoop是高效的，因為它以并行的方式工作，通過并行處理加快處理速度。Hadoop還是可伸縮的，能夠處理 PB 級數(shù)據(jù)。此外，Hadoop依賴于社區(qū)服務(wù)器，因此它的成本比較低，任何人都可以使用?！?/p>

Hadoop帶有用 Java 語言編寫的框架，因此運行在 Linux 生產(chǎn)平臺上是非常理想的。Hadoop上的應(yīng)用程序也可以使用其他語言編寫，比如 C++。Hadoop有許多元素構(gòu)成。其最底部是HDFS，它存儲Hadoop集群中所有存儲節(jié)點上的文件。HDFS的上一層是 MapReduce引擎，該引擎由JobTrackers和TaskTrackers組成。