我們的數(shù)據(jù)來自各個方面，在面對龐大而復(fù)雜的大數(shù)據(jù)，選擇一個合適的處理工具顯得很有必要，一個好的工具不僅可以使我們的工作事半功倍，也可以讓我們在競爭日益激烈的云計算時代，挖掘大數(shù)據(jù)價值，及時調(diào)整戰(zhàn)略方向。

大數(shù)據(jù)是一個含義廣泛的術(shù)語，是指數(shù)據(jù)集，如此龐大而復(fù)雜的，他們需要專門設(shè)計的硬件和軟件工具進行處理。該數(shù)據(jù)集通常是萬億或EB的大小。大數(shù)據(jù)產(chǎn)生的其他例子包括購買交易記錄、網(wǎng)絡(luò)日志、病歷、事監(jiān)控、視頻和圖像檔案、及大型電子商務(wù)。大數(shù)據(jù)分析是在研究大量的數(shù)據(jù)的過程中尋找模式，相關(guān)性和其他有用的信息，可以幫助企業(yè)更好地適應(yīng)變化，并做出更明智的決策。

一、Hadoop

Hadoop 是一個能夠?qū)Υ罅繑?shù)據(jù)進行分布式處理的軟件框架。但是 Hadoop 是以一種可靠、高效、可伸縮的方式進行處理的。Hadoop 是高效的，因為它以并行的方式工作，通過并行處理加快處理速度。Hadoop 還是可伸縮的，能夠處理 PB 級數(shù)據(jù)。此外，Hadoop 依賴于社區(qū)服務(wù)器，因此它的成本比較低，任何人都可以使用。

二、Storm

Storm是自由的開源軟件，一個分布式的、容錯的實時計算系統(tǒng)。Storm可以非?？煽康奶幚睚嫶蟮臄?shù)據(jù)流，用于處理Hadoop的批量數(shù)據(jù)。Storm很簡單，支持許多種編程語言，使用起來非常有趣。Storm有許多應(yīng)用領(lǐng)域：實時分析、在線機器學(xué)習(xí)、不停頓的計算、分布式ETL即數(shù)據(jù)抽取、轉(zhuǎn)換和加載等。Storm的處理速度驚人：經(jīng)測 試，每個節(jié)點每秒鐘可以處理100萬個數(shù)據(jù)元組。Storm是可擴展、容錯，很容易設(shè)置和操作。

三、Apache Drill

為了幫助企業(yè)用戶尋找更為有效、加快Hadoop數(shù)據(jù)查詢的方法，Apache軟件基金會近日發(fā)起了一項名為“Drill”的開源項目。

通過開發(fā)“Drill”Apache開源項目，組織機構(gòu)將有望建立Drill所屬的API接口和靈活強大的體系架構(gòu)，從而幫助支持廣泛的數(shù)據(jù)源、數(shù)據(jù)格式和查詢語言。

四、RapidMiner

RapidMiner是世界領(lǐng)先的數(shù)據(jù)挖掘解決方案，在一個非常大的程度上有著先進技術(shù)。它數(shù)據(jù)挖掘任務(wù)涉及范圍廣泛，包括各種數(shù)據(jù)藝術(shù)，能簡化數(shù)據(jù)挖掘過程的設(shè)計和評價。

五、Pentaho BI

Pentaho BI平臺不同于傳統(tǒng)的BI 產(chǎn)品，它是一個以流程為中心的，面向解決方案的框架。其目的在于將一系列企業(yè)級BI產(chǎn)品、開源軟件、API等等組件集成起來，方便商務(wù)智能應(yīng)用的開發(fā)。

Pentaho BI平臺構(gòu)建于服務(wù)器，引擎和組件的基礎(chǔ)之上。這些提供了系統(tǒng)的J2EE 服務(wù)器，安全，工作流，規(guī)則引擎，圖表，協(xié)作，內(nèi)容管理，數(shù)據(jù)集成，分析和建模功能。這些組件的大部分是基于標(biāo)準(zhǔn)的，可使用其他產(chǎn)品替換之。