在互聯(lián)網(wǎng)的世界中數(shù)據(jù)都是以TB、PB的數(shù)量級來增加的，特別是像BAT光每天的日志文件一個(gè)盤都不夠，更何況是還要基于這些數(shù)據(jù)進(jìn)行分析挖掘，更甚者還要實(shí)時(shí)進(jìn)行數(shù)據(jù)分析，學(xué)習(xí)，如雙十一淘寶的交易量的實(shí)時(shí)展示。
大數(shù)據(jù)什么叫大？4個(gè)特征：
體量化 Volume，就是量大。
多樣化 Variety，可能是結(jié)構(gòu)型的數(shù)據(jù)，也可能是非結(jié)構(gòu)行的文本，圖片，視頻，語音，日志，郵件等
快速化 Velocity，產(chǎn)生快，處理也需要快。
價(jià)值密度低 Value，數(shù)據(jù)量大，但單個(gè)數(shù)據(jù)沒什么意義，需要宏觀的統(tǒng)計(jì)體現(xiàn)其隱藏的價(jià)值。
可以看出想只要一臺(tái)強(qiáng)大的服務(wù)器來實(shí)時(shí)處理這種體量的數(shù)據(jù)那是不可能的，而且成本昂貴，代價(jià)相當(dāng)大，普通的關(guān)系型數(shù)據(jù)庫也隨著數(shù)據(jù)量的增大其處理時(shí)間也隨之增加，那客戶是不可能忍受的，所以我們需要Hadoop來解決此問題。
優(yōu)點(diǎn)：
Hadoop是一個(gè)能夠讓用戶輕松架構(gòu)和使用的分布式計(jì)算平臺(tái)。用戶可以輕松地在Hadoop上開發(fā)和運(yùn)行處理海量數(shù)據(jù)的應(yīng)用程序。它主要有以下幾個(gè)優(yōu)點(diǎn)：
高可靠性。Hadoop按位存儲(chǔ)和處理數(shù)據(jù)的能力值得人們信賴。
高擴(kuò)展性。Hadoop是在可用的計(jì)算機(jī)集簇間分配數(shù)據(jù)并完成計(jì)算任務(wù)的，這些集簇可以方便地?cái)U(kuò)展到數(shù)以千計(jì)的節(jié)點(diǎn)中。
高效性。Hadoop能夠在節(jié)點(diǎn)之間動(dòng)態(tài)地移動(dòng)數(shù)據(jù)，并保證各個(gè)節(jié)點(diǎn)的動(dòng)態(tài)平衡，因此處理速度非?？臁?/p>
高容錯(cuò)性。Hadoop能夠自動(dòng)保存數(shù)據(jù)的多個(gè)副本，并且能夠自動(dòng)將失敗的任務(wù)重新分配。
低成本。與一體機(jī)、商用數(shù)據(jù)倉庫以及QlikView、Yonghong Z-Suite等數(shù)據(jù)集市相比，hadoop是開源的，項(xiàng)目的軟件成本因此會(huì)大大降低。
Hadoop得以在大數(shù)據(jù)處理應(yīng)用中廣泛應(yīng)用得益于其自身在數(shù)據(jù)提取、變形和加載(ETL)方面上的天然優(yōu)勢。Hadoop的分布式架構(gòu)，將大數(shù)據(jù)處理引擎盡可能的靠近存儲(chǔ)，對例如像ETL這樣的批處理操作相對合適，因?yàn)轭愃七@樣操作的批處理結(jié)果可以直接走向存儲(chǔ)。Hadoop的MapReduce功能實(shí)現(xiàn)了將單個(gè)任務(wù)打碎，并將碎片任務(wù)(Map)發(fā)送到多個(gè)節(jié)點(diǎn)上，之后再以單個(gè)數(shù)據(jù)集的形式加載(Reduce)到數(shù)據(jù)倉庫里。
Hadoop在各應(yīng)用中是最底層，最基礎(chǔ)的組件，所以其重要性不言而喻。
框架結(jié)構(gòu)
Hadoop主要由HDFS ( 分布式文件系統(tǒng))和MapReduce （并行計(jì)算框架）組成。
Hadoop 由許多元素構(gòu)成。其最底部是 Hadoop Distributed File System（HDFS），它存儲(chǔ) Hadoop 集群中所有存儲(chǔ)節(jié)點(diǎn)上的文件。HDFS（對于本文）的上一層是MapReduce?引擎，該引擎由 JobTrackers 和 TaskTrackers 組成。通過對Hadoop分布式計(jì)算平臺(tái)最核心的分布式文件系統(tǒng)HDFS、MapReduce處理過程，以及數(shù)據(jù)倉庫工具Hive和分布式數(shù)據(jù)庫Hbase的介紹，基本涵蓋了Hadoop分布式平臺(tái)的所有技術(shù)核心。
HDFS
對外部客戶機(jī)而言，HDFS就像一個(gè)傳統(tǒng)的分級文件系統(tǒng)?？梢詣?chuàng)建、刪除、移動(dòng)或重命名文件，等等。但是 HDFS 的架構(gòu)是基于一組特定的節(jié)點(diǎn)構(gòu)建的，這是由它自身的特點(diǎn)決定的。這些節(jié)點(diǎn)包括 NameNode（僅一個(gè)），它在 HDFS 內(nèi)部提供元數(shù)據(jù)服務(wù)；DataNode，它為 HDFS 提供存儲(chǔ)塊。由于僅存在一個(gè) NameNode，因此這是 HDFS 的一個(gè)缺點(diǎn)（單點(diǎn)失?。?/p>
存儲(chǔ)在 HDFS 中的文件被分成塊，然后將這些塊復(fù)制到多個(gè)計(jì)算機(jī)中（DataNode）。這與傳統(tǒng)的 RAID 架構(gòu)大不相同。塊的大?。ㄍǔ?64MB）和復(fù)制的塊數(shù)量在創(chuàng)建文件時(shí)由客戶機(jī)決定。NameNode 可以控制所有文件操作。HDFS 內(nèi)部的所有通信都基于標(biāo)準(zhǔn)的?TCP/IP?協(xié)議。
單節(jié)點(diǎn)物理結(jié)構(gòu)
主從結(jié)構(gòu)
主節(jié)點(diǎn)，只有一個(gè): namenode
從節(jié)點(diǎn)，有很多個(gè): datanodes
namenode負(fù)責(zé)：接收用戶操作請求 、維護(hù)文件系統(tǒng)的目錄結(jié)構(gòu)、管理文件與block之間關(guān)系，block與datanode之間關(guān)系
NameNode 是一個(gè)通常在?HDFS?實(shí)例中的單獨(dú)機(jī)器上運(yùn)行的軟件。它負(fù)責(zé)管理文件系統(tǒng)名稱空間和控制外部客戶機(jī)的訪問。
datanode負(fù)責(zé)：存儲(chǔ)文件文件被分成block存儲(chǔ)在磁盤上、為保證數(shù)據(jù)安全，文件會(huì)有多個(gè)副本
MapReduce
MapReduce是處理大量半結(jié)構(gòu)化數(shù)據(jù)集合的編程模型。編程模型是一種處理并結(jié)構(gòu)化特定問題的方式。例如，在一個(gè)關(guān)系數(shù)據(jù)庫中，使用一種集合語言執(zhí)行查詢，如SQL。告訴語言想要的結(jié)果，并將它提交給系統(tǒng)來計(jì)算出如何產(chǎn)生計(jì)算。還可以用更傳統(tǒng)的語言(C++，Java)，一步步地來解決問題。這是兩種不同的編程模型，MapReduce就是另外一種。
MapReduce和Hadoop是相互獨(dú)立的，實(shí)際上又能相互配合工作得很好。
主從結(jié)構(gòu)
主節(jié)點(diǎn)，只有一個(gè): JobTracker
從節(jié)點(diǎn)，有很多個(gè): TaskTrackers
JobTracker負(fù)責(zé)：接收客戶提交的計(jì)算任務(wù)、把計(jì)算任務(wù)分給TaskTrackers執(zhí)行、監(jiān)控TaskTracker的執(zhí)行情況
TaskTrackers負(fù)責(zé)：執(zhí)行JobTracker分配的計(jì)算任務(wù)
Hadoop能做什么？
大數(shù)據(jù)量存儲(chǔ)：分布式存儲(chǔ)
日志處理: Hadoop擅長這個(gè)
海量計(jì)算: 并行計(jì)算
ETL:數(shù)據(jù)抽取到oracle、mysql、DB2、mongdb及主流數(shù)據(jù)庫
使用HBase做數(shù)據(jù)分析: 用擴(kuò)展性應(yīng)對大量的寫操作—Facebook構(gòu)建了基于HBase的實(shí)時(shí)數(shù)據(jù)分析系統(tǒng)
機(jī)器學(xué)習(xí): 比如Apache Mahout項(xiàng)目
搜索引擎:hadoop + lucene實(shí)現(xiàn)
數(shù)據(jù)挖掘：目前比較流行的廣告推薦
大量地從文件中順序讀。HDFS對順序讀進(jìn)行了優(yōu)化，代價(jià)是對于隨機(jī)的訪問負(fù)載較高。
數(shù)據(jù)支持一次寫入，多次讀取。對于已經(jīng)形成的數(shù)據(jù)的更新不支持。
數(shù)據(jù)不進(jìn)行本地緩存（文件很大，且順序讀沒有局部性）
任何一臺(tái)服務(wù)器都有可能失效，需要通過大量的數(shù)據(jù)復(fù)制使得性能不會(huì)受到大的影響。
用戶細(xì)分特征建模
個(gè)性化廣告推薦
智能儀器推薦
擴(kuò)展
實(shí)際應(yīng)用：
Hadoop+HBase建立NoSQL分布式數(shù)據(jù)庫應(yīng)用
Flume+Hadoop+Hive建立離線日志分析系統(tǒng)
Flume+Logstash+Kafka+Spark Streaming進(jìn)行實(shí)時(shí)日志處理分析
酷狗音樂的大數(shù)據(jù)平臺(tái)
京東的智能供應(yīng)鏈預(yù)測系統(tǒng)
Hadoop的學(xué)習(xí)不僅僅是學(xué)習(xí)Hadoop，還要學(xué)習(xí)Linux，網(wǎng)絡(luò)知識，Java、還有數(shù)據(jù)結(jié)構(gòu)和算法等等，所以萬里長征才開始第一步，希望Hadoop學(xué)習(xí)不是從了解到放棄。
