1、 Talend Open Studio
是第一家針對(duì)的數(shù)據(jù)集成工具市場(chǎng)的ETL(數(shù)據(jù)的提取Extract、傳輸Transform、載入Load)開源軟件供應(yīng)商。Talend的下載量已超過200萬(wàn)人次，其開源軟件提供了數(shù)據(jù)整合功能。其用戶包括美國(guó)國(guó)際集團(tuán)（AIG）、康卡斯特、電子港灣、通用電氣、三星、Ticketmaster和韋里遜等企業(yè)組織。
2、DYSON
探碼科技自主研發(fā)的DYSON智能分析系統(tǒng)，可以完整的實(shí)現(xiàn)大數(shù)據(jù)的采集、分析、處理。DYSON智能分析系統(tǒng)專業(yè)針對(duì)互聯(lián)網(wǎng)數(shù)據(jù)抓取、處理、分析，挖掘。可以靈活迅速地抓取網(wǎng)頁(yè)上散亂分布的信息，并通過強(qiáng)大的處理功能，準(zhǔn)確挖掘出所需數(shù)據(jù)，是目前使用人數(shù)最多的網(wǎng)頁(yè)采集工具.
3、YARN
一種新的Hadoop資源管理器，它是一個(gè)通用資源管理系統(tǒng)，可為上層應(yīng)用提供統(tǒng)一的資源管理和調(diào)度，解決了舊MapReduce框架的性能瓶頸。它的基本思想是把資源管理和作業(yè)調(diào)度/監(jiān)控的功能分割到單獨(dú)的守護(hù)進(jìn)程。
4、Mesos
由加州大學(xué)伯克利分校的AMPLab首先開發(fā)的一款開源群集管理軟件，支持Hadoop、ElasticSearch、Spark、Storm 和Kafka等架構(gòu)。對(duì)數(shù)據(jù)中心而言它就像一個(gè)單一的資源池，從物理或虛擬機(jī)器中抽離了CPU，內(nèi)存，存儲(chǔ)以及其它計(jì)算資源， 很容易建立和有效運(yùn)行具備容錯(cuò)性和彈性的分布式系統(tǒng)。
5、Datale
由探碼科技研發(fā)的一款基于Hadoop的大數(shù)據(jù)平臺(tái)開發(fā)套件，RAI大數(shù)據(jù)應(yīng)用平臺(tái)架構(gòu)。
6、 Ambari
作為Hadoop生態(tài)系統(tǒng)的一部分，提供了基于Web的直觀界面，可用于配置、管理和監(jiān)控Hadoop集群。目前已支持大多數(shù)Hadoop組件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。
7、ZooKeeper
一個(gè)分布式的應(yīng)用程序協(xié)調(diào)服務(wù)，是Hadoop和Hbase的重要組件。它是一個(gè)為分布式應(yīng)用提供一致性服務(wù)的工具，讓Hadoop集群里面的節(jié)點(diǎn)可以彼此協(xié)調(diào)。ZooKeeper現(xiàn)在已經(jīng)成為了 Apache的頂級(jí)項(xiàng)目，為分布式系統(tǒng)提供了高效可靠且易于使用的協(xié)同服務(wù)。
8、Thrift
在2007年facebook提交Apache基金會(huì)將Thrift作為一個(gè)開源項(xiàng)目，對(duì)于當(dāng)時(shí)的facebook來(lái)說(shuō)創(chuàng)造thrift是為了解決facebook系統(tǒng)中各系統(tǒng)間大數(shù)據(jù)量的傳輸通信以及系統(tǒng)之間語(yǔ)言環(huán)境不同需要跨平臺(tái)的特性。
9、Chukwa
監(jiān)測(cè)大型分布式系統(tǒng)的一個(gè)開源數(shù)據(jù)采集系統(tǒng)，建立在HDFS/MapReduce框架之上并繼承了Hadoop的可伸縮性和可靠性，可以收集來(lái)自大型分布式系統(tǒng)的數(shù)據(jù)，用于監(jiān)控。它還包括靈活而強(qiáng)大的顯示工具用于監(jiān)控、分析結(jié)果。
10、Lustre
一個(gè)大規(guī)模的、安全可靠的、具備高可用性的集群文件系統(tǒng)，它是由SUN公司開發(fā)和維護(hù)的。該項(xiàng)目主要的目的就是開發(fā)下一代的集群文件系統(tǒng)，目前可以支持超過10000個(gè)節(jié)點(diǎn)，數(shù)以PB的數(shù)據(jù)存儲(chǔ)量。
11、HDFS
Hadoop Distributed File System，簡(jiǎn)稱HDFS，是一個(gè)分布式文件系統(tǒng)。HDFS是一個(gè)高度容錯(cuò)性的系統(tǒng)，適合部署在廉價(jià)的機(jī)器上。HDFS能提供高吞吐量的數(shù)據(jù)訪問，非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用。
12、GlusterFS
一個(gè)集群的文件系統(tǒng)，支持PB級(jí)的數(shù)據(jù)量。GlusterFS 通過RDMA和TCP/IP方式將分布到不同服務(wù)器上的存儲(chǔ)空間匯集成一個(gè)大的網(wǎng)絡(luò)化并行文件系統(tǒng)。
13、Alluxio
前身是Tachyon，是以內(nèi)存為中心的分布式文件系統(tǒng)，擁有高性能和容錯(cuò)能力，能夠?yàn)榧嚎蚣埽ㄈ鏢park、MapReduce）提供可靠的內(nèi)存級(jí)速度的文件共享服務(wù)。
14、Ceph
新一代開源分布式文件系統(tǒng)，主要目標(biāo)是設(shè)計(jì)成基于POSIX的沒有單點(diǎn)故障的分布式文件系統(tǒng)，提高數(shù)據(jù)的容錯(cuò)性并實(shí)現(xiàn)無(wú)縫的復(fù)制。
15、PVFS
一個(gè)高性能、開源的并行文件系統(tǒng)，主要用于并行計(jì)算環(huán)境中的應(yīng)用。PVFS特別為超大數(shù)量的客戶端和服務(wù)器端所設(shè)計(jì)，它的模塊化設(shè)計(jì)結(jié)構(gòu)可輕松的添加新的硬件和算法支持。
16、QFS
Quantcast File System (QFS) 是一個(gè)高性能、容錯(cuò)好、分布式的文件系統(tǒng)，用于開發(fā)支持 MapReduce處理或者需要順序讀寫大文件的應(yīng)用。
17、 Logstash
一個(gè)應(yīng)用程序日志、事件的傳輸、處理、管理和搜索的平臺(tái)?？梢杂盟鼇?lái)統(tǒng)一對(duì)應(yīng)用程序日志進(jìn)行收集管理，提供了Web接口用于查詢和統(tǒng)計(jì)。
18、Scribe
Scribe是Facebook開源的日志收集系統(tǒng)，它能夠從各種日志源上收集日志，存儲(chǔ)到一個(gè)中央存儲(chǔ)系統(tǒng)（可以是NFS，分布式文件系統(tǒng)等）上，以便于進(jìn)行集中統(tǒng)計(jì)分析處理。
19、Flume
Cloudera提供的一個(gè)高可用的、高可靠的、分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)。Flume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)。同時(shí)，F(xiàn)lume支持對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)單處理，并寫入各種數(shù)據(jù)接受方（可定制）。
20、RabbitMQ
一個(gè)受歡迎的消息代理系統(tǒng)，通常用于應(yīng)用程序之間或者程序的不同組件之間通過消息來(lái)進(jìn)行集成。RabbitMQ提供可靠的應(yīng)用消息發(fā)送、易于使用、支持所有主流操作系統(tǒng)、支持大量開發(fā)者平臺(tái)。
21、ActiveMQ
Apache出品，號(hào)稱“最流行的，最強(qiáng)大”的開源消息集成模式服務(wù)器。ActiveMQ特點(diǎn)是速度快，支持多種跨語(yǔ)言的客戶端和協(xié)議，其企業(yè)集成模式和許多先進(jìn)的功能易于使用，是一個(gè)完全支持JMS1.1和J2EE 1.4規(guī)范的JMS Provider實(shí)現(xiàn)。
22、Kafka
一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)，它可以處理消費(fèi)者規(guī)模網(wǎng)站中的所有動(dòng)作流數(shù)據(jù)，目前已成為大數(shù)據(jù)系統(tǒng)在異步和分布式消息之間的最佳選擇。
23、Spark
一個(gè)高速、通用大數(shù)據(jù)計(jì)算處理引擎。擁有Hadoop MapReduce所具有的優(yōu)點(diǎn)，但不同的是Job的中間輸出結(jié)果可以保存在內(nèi)存中，從而不再需要讀寫HDFS，因此Spark能更好地適用于數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)等需要迭代的MapReduce的算法。它可以與Hadoop和Apache Mesos一起使用，也可以獨(dú)立使用。
24、Kinesis
可以構(gòu)建用于處理或分析流數(shù)據(jù)的自定義應(yīng)用程序，來(lái)滿足特定需求。Amazon Kinesis Streams 每小時(shí)可從數(shù)十萬(wàn)種來(lái)源中連續(xù)捕獲和存儲(chǔ)數(shù)TB數(shù)據(jù)，如網(wǎng)站點(diǎn)擊流、財(cái)務(wù)交易、社交媒體源、IT日志和定位追蹤事件。
25、 Hadoop
一個(gè)開源框架，適合運(yùn)行在通用硬件，支持用簡(jiǎn)單程序模型分布式處理跨集群大數(shù)據(jù)集，支持從單一服務(wù)器到上千服務(wù)器的水平scale up。Apache的Hadoop項(xiàng)目已幾乎與大數(shù)據(jù)劃上了等號(hào)，它不斷壯大起來(lái)，已成為一個(gè)完整的生態(tài)系統(tǒng)，擁有眾多開源工具面向高度擴(kuò)展的分布式計(jì)算。高效、可靠、可伸縮，能夠?yàn)槟愕臄?shù)據(jù)存儲(chǔ)項(xiàng)目提供所需的YARN、HDFS和基礎(chǔ)架構(gòu)，并且運(yùn)行主要的大數(shù)據(jù)服務(wù)和應(yīng)用程序。
26、Spark Streaming
實(shí)現(xiàn)微批處理，目標(biāo)是很方便的建立可擴(kuò)展、容錯(cuò)的流應(yīng)用，支持Java、Scala和Python，和Spark無(wú)縫集成。Spark Streaming可以讀取數(shù)據(jù)HDFS，F(xiàn)lume，Kafka，Twitter和ZeroMQ，也可以讀取自定義數(shù)據(jù)。
27、Trident
是對(duì)Storm的更高一層的抽象，除了提供一套簡(jiǎn)單易用的流數(shù)據(jù)處理API之外，它以batch(一組tuples)為單位進(jìn)行處理，這樣一來(lái)，可以使得一些處理更簡(jiǎn)單和高效。
28、Flink
于今年躋身Apache頂級(jí)開源項(xiàng)目，與HDFS完全兼容。Flink提供了基于Java和Scala的API，是一個(gè)高效、分布式的通用大數(shù)據(jù)分析引擎。更主要的是，F(xiàn)link支持增量迭代計(jì)算，使得系統(tǒng)可以快速地處理數(shù)據(jù)密集型、迭代的任務(wù)。
29、Samza
出自于LinkedIn，構(gòu)建在Kafka之上的分布式流計(jì)算框架，是Apache頂級(jí)開源項(xiàng)目?？芍苯永肒afka和Hadoop YARN提供容錯(cuò)、進(jìn)程隔離以及安全、資源管理。
30、Storm
Storm是Twitter開源的一個(gè)類似于Hadoop的實(shí)時(shí)數(shù)據(jù)處理框架。編程模型簡(jiǎn)單，顯著地降低了實(shí)時(shí)處理的難度，也是當(dāng)下最人氣的流計(jì)算框架之一。與其他計(jì)算框架相比，Storm最大的優(yōu)點(diǎn)是毫秒級(jí)低延時(shí)。
31、Yahoo S4 （Simple Scalable Streaming System）
是一個(gè)分布式流計(jì)算平臺(tái)，具備通用、分布式、可擴(kuò)展的、容錯(cuò)、可插拔等特點(diǎn)，程序員可以很容易地開發(fā)處理連續(xù)無(wú)邊界數(shù)據(jù)流（continuous unbounded streams of data）的應(yīng)用。它的目標(biāo)是填補(bǔ)復(fù)雜專有系統(tǒng)和面向批處理開源產(chǎn)品之間的空白，并提供高性能計(jì)算平臺(tái)來(lái)解決并發(fā)處理系統(tǒng)的復(fù)雜度。
32、HaLoop
是一個(gè)Hadoop MapReduce框架的修改版本，其目標(biāo)是為了高效支持 迭代，遞歸數(shù)據(jù) 分析任務(wù)，如PageRank，HITs，K-means，sssp等。
33、Presto
是一個(gè)開源的分布式SQL查詢引擎，適用于交互式分析查詢，可對(duì)250PB以上的數(shù)據(jù)進(jìn)行快速地交互式分析。Presto的設(shè)計(jì)和編寫是為了解決像Facebook這樣規(guī)模的商業(yè)數(shù)據(jù)倉(cāng)庫(kù)的交互式分析和處理速度的問題。Facebook稱Presto的性能比諸如Hive和MapReduce要好上10倍有多。
34、 Drill
于2012年8月份由Apache推出，讓用戶可以使用基于SQL的查詢，查詢Hadoop、NoSQL數(shù)據(jù)庫(kù)和云存儲(chǔ)服務(wù)。它能夠運(yùn)行在上千個(gè)節(jié)點(diǎn)的服務(wù)器集群上，且能在幾秒內(nèi)處理PB級(jí)或者萬(wàn)億條的數(shù)據(jù)記錄。它可用于數(shù)據(jù)挖掘和即席查詢，支持一系列廣泛的數(shù)據(jù)庫(kù)，包括HBase、MongoDB、MapR-DB、HDFS、MapR-FS、亞馬遜S3、Azure Blob Storage、谷歌云存儲(chǔ)和Swift。
35、Phoenix
是一個(gè)Java中間層，可以讓開發(fā)者在Apache HBase上執(zhí)行SQL查詢。Phoenix完全使用Java編寫，并且提供了一個(gè)客戶端可嵌入的JDBC驅(qū)動(dòng)。Phoenix查詢引擎會(huì)將SQL查詢轉(zhuǎn)換為一個(gè)或多個(gè)HBase scan，并編排執(zhí)行以生成標(biāo)準(zhǔn)的JDBC結(jié)果集。
36、Pig
是一種編程語(yǔ)言，它簡(jiǎn)化了Hadoop常見的工作任務(wù)。Pig可加載數(shù)據(jù)、轉(zhuǎn)換數(shù)據(jù)以及存儲(chǔ)最終結(jié)果。Pig最大的作用就是為MapReduce框架實(shí)現(xiàn)了一套shell腳本 ，類似我們通常熟悉的SQL語(yǔ)句。
37、Hive
是基于Hadoop的一個(gè)數(shù)據(jù)倉(cāng)庫(kù)工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫(kù)表，并提供簡(jiǎn)單的sql查詢功能，可以將sql語(yǔ)句轉(zhuǎn)換為MapReduce任務(wù)進(jìn)行運(yùn)行。 其優(yōu)點(diǎn)是學(xué)習(xí)成本低，可以通過類SQL語(yǔ)句快速實(shí)現(xiàn)簡(jiǎn)單的MapReduce統(tǒng)計(jì)，不必開發(fā)專門的MapReduce應(yīng)用，十分適合數(shù)據(jù)倉(cāng)庫(kù)的統(tǒng)計(jì)分析。
38、SparkSQL
前身是Shark，SparkSQL拋棄原有Shark的代碼并汲取了一些優(yōu)點(diǎn)，如內(nèi)存列存儲(chǔ)（In-Memory Columnar Storage）、Hive兼容性等。由于擺脫了對(duì)Hive的依賴性，SparkSQL無(wú)論在數(shù)據(jù)兼容、性能優(yōu)化、組件擴(kuò)展方面都得到了極大的方便。
39、Stinger
原來(lái)叫Tez，是下一代Hive，由Hortonworks主導(dǎo)開發(fā)，運(yùn)行在YARN上的DAG計(jì)算框架。某些測(cè)試下，Stinger能提升10倍左右的性能，同時(shí)會(huì)讓Hive支持更多的SQL。
40、Tajo
目的是在HDFS之上構(gòu)建一個(gè)可靠的、支持關(guān)系型數(shù)據(jù)的分布式數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)，它的重點(diǎn)是提供低延遲、可擴(kuò)展的ad-hoc查詢和在線數(shù)據(jù)聚集，以及為更傳統(tǒng)的ETL提供工具。
41、Impala
Cloudera 聲稱，基于SQL的Impala數(shù)據(jù)庫(kù)是“面向Apache Hadoop的領(lǐng)先的開源分析數(shù)據(jù)庫(kù)”。它可以作為一款獨(dú)立產(chǎn)品來(lái)下載，又是Cloudera的商業(yè)大數(shù)據(jù)產(chǎn)品的一部分。Cloudera Impala 可以直接為存儲(chǔ)在HDFS或HBase中的Hadoop數(shù)據(jù)提供快速、交互式的SQL查詢。
42、 Elasticsearch
是一個(gè)基于Lucene的搜索服務(wù)器。它提供了一個(gè)分布式、支持多用戶的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java開發(fā)的，并作為Apache許可條款下的開放源碼發(fā)布，是當(dāng)前流行的企業(yè)級(jí)搜索引擎。設(shè)計(jì)用于云計(jì)算中，能夠達(dá)到實(shí)時(shí)搜索、穩(wěn)定、可靠、快速、安裝使用方便。
43、Solr
基于Apache Lucene，是一種高度可靠、高度擴(kuò)展的企業(yè)搜索平臺(tái)。知名用戶包括eHarmony、西爾斯、StubHub、Zappos、百思買、AT&T、Instagram、Netflix、彭博社和Travelocity。
44、Shark
即Hive on Spark，本質(zhì)上是通過Hive的HQL解析，把HQL翻譯成Spark上的RDD操作，然后通過Hive的metadata獲取數(shù)據(jù)庫(kù)里的表信息，實(shí)際HDFS上的數(shù)據(jù)和文件，會(huì)由Shark獲取并放到Spark上運(yùn)算。Shark的特點(diǎn)就是快，完全兼容Hive，且可以在shell模式下使用rdd2sql()這樣的API，把HQL得到的結(jié)果集，繼續(xù)在scala環(huán)境下運(yùn)算，支持自己編寫簡(jiǎn)單的機(jī)器學(xué)習(xí)或簡(jiǎn)單分析處理函數(shù)，對(duì)HQL結(jié)果進(jìn)一步分析計(jì)算。
45、Lucene
基于Java的Lucene可以非常迅速地執(zhí)行全文搜索。據(jù)官方網(wǎng)站聲稱，它在現(xiàn)代硬件上每小時(shí)能夠檢索超過150GB的數(shù)據(jù)，它擁有強(qiáng)大而高效的搜索算法。
46、Terracotta
聲稱其BigMemory技術(shù)是“世界上首屈一指的內(nèi)存中數(shù)據(jù)管理平臺(tái)”，支持簡(jiǎn)單、可擴(kuò)展、實(shí)時(shí)消息，聲稱在190個(gè)國(guó)家擁有210萬(wàn)開發(fā)人員，全球1000家企業(yè)部署了其軟件。
47、 Ignite
是一種高性能、整合式、分布式的內(nèi)存中平臺(tái)，可用于對(duì)大規(guī)模數(shù)據(jù)集執(zhí)行實(shí)時(shí)計(jì)算和處理，速度比傳統(tǒng)的基于磁盤的技術(shù)或閃存技術(shù)高出好幾個(gè)數(shù)量級(jí)。該平臺(tái)包括數(shù)據(jù)網(wǎng)格、計(jì)算網(wǎng)格、服務(wù)網(wǎng)格、流媒體、Hadoop加速、高級(jí)集群、文件系統(tǒng)、消息傳遞、事件和數(shù)據(jù)結(jié)構(gòu)等功能。
48、GemFire
Pivotal宣布它將開放其大數(shù)據(jù)套件關(guān)鍵組件的源代碼，其中包括GemFire內(nèi)存中NoSQL數(shù)據(jù)庫(kù)。它已向Apache軟件基金會(huì)遞交了一項(xiàng)提案，以便在“Geode”的名下管理GemFire數(shù)據(jù)庫(kù)的核心引擎。
49、 GridGain
由Apache Ignite驅(qū)動(dòng)的GridGrain提供內(nèi)存中數(shù)據(jù)結(jié)構(gòu)，用于迅速處理大數(shù)據(jù)，還提供基于同一技術(shù)的Hadoop加速器。
50、MongoDB
是一個(gè)基于分布式文件存儲(chǔ)的數(shù)據(jù)庫(kù)。由C++語(yǔ)言編寫。旨在為web應(yīng)用提供可擴(kuò)展的高性能數(shù)據(jù)存儲(chǔ)解決方案。介于關(guān)系數(shù)據(jù)庫(kù)和非關(guān)系數(shù)據(jù)庫(kù)之間的開源產(chǎn)品，是非關(guān)系數(shù)據(jù)庫(kù)當(dāng)中功能最豐富、最像關(guān)系數(shù)據(jù)庫(kù)的產(chǎn)品。
51、Redis
是一個(gè)高性能的key-value存儲(chǔ)系統(tǒng)，和Memcached類似，它支持存儲(chǔ)的value類型相對(duì)更多，包括string（字符串）、list（鏈表）、set（集合）和zset（有序集合）。Redis的出現(xiàn)，很大程度補(bǔ)償了memcached這類key/value存儲(chǔ)的不足，在部分場(chǎng)合可以對(duì)關(guān)系數(shù)據(jù)庫(kù)起到很好的補(bǔ)充作用。
52、HDFS
Hadoop分布式文件系統(tǒng)(HDFS)被設(shè)計(jì)成適合運(yùn)行在通用硬件(commodity hardware)上的分布式文件系統(tǒng)。它和現(xiàn)有的分布式文件系統(tǒng)有很多共同點(diǎn)。HDFS是一個(gè)高度容錯(cuò)性的系統(tǒng)，適合部署在廉價(jià)的機(jī)器上。HDFS能提供高吞吐量的數(shù)據(jù)訪問，非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用。
53、HBase
是Hadoop的數(shù)據(jù)庫(kù)，一個(gè)分布式、可擴(kuò)展、大數(shù)據(jù)的存儲(chǔ)。是為有數(shù)十億行和數(shù)百萬(wàn)列的超大表設(shè)計(jì)的，是一種分布式數(shù)據(jù)庫(kù)，可以對(duì)大數(shù)據(jù)進(jìn)行隨機(jī)性的實(shí)時(shí)讀取/寫入訪問。提供類似谷歌Bigtable的存儲(chǔ)能力，基于Hadoop和Hadoop分布式文件系統(tǒng)（HDFS）而建。
54、Neo4j
是一個(gè)高性能的，NOSQL圖形數(shù)據(jù)庫(kù)，它將結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)在網(wǎng)絡(luò)上而不是表中。自稱“世界上第一個(gè)和最好的圖形數(shù)據(jù)庫(kù)”，“速度最快、擴(kuò)展性最佳的原生圖形數(shù)據(jù)庫(kù)”，“最大和最有活力的社區(qū)”。用戶包括Telenor、Wazoku、ebay、必能寶（Pitney Bowes）、MigRaven、思樂（Schleich）和Glowbl等。
55、 Vertica
基于列存儲(chǔ)高性能和高可用性設(shè)計(jì)的數(shù)據(jù)庫(kù)方案，由于對(duì)大規(guī)模并行處理（MPP）技術(shù)的支持，提供細(xì)粒度、可伸縮性和可用性的優(yōu)勢(shì)。每個(gè)節(jié)點(diǎn)完全獨(dú)立運(yùn)作，完全無(wú)共享架構(gòu)，降低了共享資源的系統(tǒng)競(jìng)爭(zhēng)。
56、Cassandra
是一個(gè)混合型的非關(guān)系的數(shù)據(jù)庫(kù)，類似于Google的BigTable，其主要功能比Dynamo （分布式的Key-Value存儲(chǔ)系統(tǒng)）更豐富。這種NoSQL數(shù)據(jù)庫(kù)最初由Facebook開發(fā)，現(xiàn)已被1500多家企業(yè)組織使用，包括蘋果、歐洲原子核研究組織（CERN）、康卡斯特、電子港灣、GitHub、GoDaddy、Hulu、Instagram、Intuit、Netfilx、Reddit及其他機(jī)構(gòu)。
57、CouchDB
號(hào)稱是“一款完全擁抱互聯(lián)網(wǎng)的數(shù)據(jù)庫(kù)”，它將數(shù)據(jù)存儲(chǔ)在JSON文檔中，這種文檔可以通過Web瀏覽器來(lái)查詢，并且用JavaScript來(lái)處理。它易于使用，在分布式上網(wǎng)絡(luò)上具有高可用性和高擴(kuò)展性。
58、Dynamo
是一個(gè)經(jīng)典的分布式Key-Value 存儲(chǔ)系統(tǒng)，具備去中心化、高可用性、高擴(kuò)展性的特點(diǎn)。Dynamo在Amazon中得到了成功的應(yīng)用，能夠跨數(shù)據(jù)中心部署于上萬(wàn)個(gè)結(jié)點(diǎn)上提供服務(wù)，它的設(shè)計(jì)思想也被后續(xù)的許多分布式系統(tǒng)借鑒。
59、 Amazon SimpleDB
是一個(gè)用Erlang編寫的高可用的NoSQL數(shù)據(jù)存儲(chǔ)，能夠減輕數(shù)據(jù)庫(kù)管理工作，開發(fā)人員只需通過Web服務(wù)請(qǐng)求執(zhí)行數(shù)據(jù)項(xiàng)的存儲(chǔ)和查詢，Amazon SimpleDB 將負(fù)責(zé)余下的工作。作為一項(xiàng)Web 服務(wù)，像Amazon的EC2和S3一樣，是Amazon網(wǎng)絡(luò)服務(wù)的一部分。
60、 Hypertable
是一個(gè)開源、高性能、可伸縮的數(shù)據(jù)庫(kù)，它采用與Google的Bigtable相似的模型。它與Hadoop兼容，性能超高，其用戶包括電子港灣、百度、高朋、Yelp及另外許多互聯(lián)網(wǎng)公司。
61、Kettle
這是一個(gè)ETL工具集，它允許你管理來(lái)自不同數(shù)據(jù)庫(kù)的數(shù)據(jù)，通過提供一個(gè)圖形化的用戶環(huán)境來(lái)描述你想做什么，而不是你想怎么做。作為Pentaho的一個(gè)重要組成部分，現(xiàn)在在國(guó)內(nèi)項(xiàng)目應(yīng)用上逐漸增多。
62、 Kylin
是一個(gè)開源的分布式分析引擎，提供了基于Hadoop的超大型數(shù)據(jù)集（TB/PB級(jí)別）的SQL接口以及多維度的OLAP分布式聯(lián)機(jī)分析。最初由eBay開發(fā)并貢獻(xiàn)至開源社區(qū)。它能在亞秒內(nèi)查詢巨大的Hive表。
63、 Kibana
是一個(gè)使用Apache 開源協(xié)議的Elasticsearch 分析和搜索儀表板，可作為L(zhǎng)ogstash和ElasticSearch日志分析的 Web 接口，對(duì)日志進(jìn)行高效的搜索、可視化、分析等各種操作。
64、 Druid
是一個(gè)用于大數(shù)據(jù)實(shí)時(shí)查詢和分析的高容錯(cuò)、高性能、分布式的開源系統(tǒng)，旨在快速處理大規(guī)模的數(shù)據(jù)，并能夠?qū)崿F(xiàn)快速查詢和分析。
65、 KNIME
全稱是“康斯坦茨信息挖掘工具”（Konstanz Information Miner），是一個(gè)開源分析和報(bào)表平臺(tái)。宣稱“是任何數(shù)據(jù)科學(xué)家完美的工具箱，超過1000個(gè)模塊，可運(yùn)行數(shù)百個(gè)實(shí)例，全面的集成工具，以及先進(jìn)的算法”。
66、Zeppelin
是一個(gè)提供交互數(shù)據(jù)分析且基于Web的筆記本。方便你做出可數(shù)據(jù)驅(qū)動(dòng)的、可交互且可協(xié)作的精美文檔，并且支持多種語(yǔ)言，包括 Scala(使用 Apache Spark)、Python(Apache Spark)、SparkSQL、 Hive、 Markdown、Shell等。
67、Azkaban
一款基于Java編寫的任務(wù)調(diào)度系統(tǒng)任務(wù)調(diào)度，來(lái)自LinkedIn公司，用于管理他們的Hadoop批處理工作流。Azkaban根據(jù)工作的依賴性進(jìn)行排序，提供友好的Web用戶界面來(lái)維護(hù)和跟蹤用戶的工作流程。
68、 Splunk
是機(jī)器數(shù)據(jù)的引擎。使用 Splunk 可收集、索引和利用所有應(yīng)用程序、服務(wù)器和設(shè)備（物理、虛擬和云中）生成的快速移動(dòng)型計(jì)算機(jī)數(shù)據(jù)，從一個(gè)位置搜索并分析所有實(shí)時(shí)和歷史數(shù)據(jù)
69、Pentaho
是世界上最流行的開源商務(wù)智能軟件，以工作流為核心的、強(qiáng)調(diào)面向解決方案而非工具組件的、基于java平臺(tái)的商業(yè)智能(Business Intelligence)套件。包括一個(gè)web server平臺(tái)和幾個(gè)工具軟件：報(bào)表、分析、圖表、數(shù)據(jù)集成、數(shù)據(jù)挖掘等，可以說(shuō)包括了商務(wù)智能的方方面面。
70、Jaspersoft
提供了靈活、可嵌入的商業(yè)智能工具，用戶包括眾多企業(yè)組織：高朋、冠群科技、美國(guó)農(nóng)業(yè)部、愛立信、時(shí)代華納有線電視、奧林匹克鋼鐵、內(nèi)斯拉斯加大學(xué)和通用動(dòng)力公司。
71、 SpagoBI
Spago被市場(chǎng)分析師們稱為“開源領(lǐng)袖”，它提供商業(yè)智能、中間件和質(zhì)量保證軟件，另外還提供相應(yīng)的Java EE應(yīng)用程序開發(fā)框架。
72、Lumify
歸Altamira科技公司（以國(guó)家安全技術(shù)而聞名）所有，這是一種開源大數(shù)據(jù)整合、分析和可視化平臺(tái)。
73、Lingual
是Cascading的高級(jí)擴(kuò)展，為Hadoop提供了一個(gè)ANSI SQL接口極大地簡(jiǎn)化了應(yīng)用程序的開發(fā)和集成。Lingual實(shí)現(xiàn)了連接現(xiàn)有的商業(yè)智能（BI）工具，優(yōu)化了計(jì)算成本，加快了基于Hadoop的應(yīng)用開發(fā)速度。
74、Beam
基于Java提供了統(tǒng)一的數(shù)據(jù)進(jìn)程管道開發(fā)，并且能夠很好地支持Spark和Flink。提供很多在線框架，開發(fā)者無(wú)需學(xué)太多框架。
75、Cascading
是一個(gè)基于Hadoop建立的API，用來(lái)創(chuàng)建復(fù)雜和容錯(cuò)數(shù)據(jù)處理工作流。它抽象了集群拓?fù)浣Y(jié)構(gòu)和配置，使得不用考慮背后的MapReduce，就能快速開發(fā)復(fù)雜的分布式應(yīng)用。
76、HPCC
作為Hadoop之外的一種選擇，是一個(gè)利用集群服務(wù)器進(jìn)行大數(shù)據(jù)分析的系統(tǒng)，HPCC在LexisNexis內(nèi)部使用多年，是一個(gè)成熟可靠的系統(tǒng)，包含一系列的工具、一個(gè)稱為ECL的高級(jí)編程語(yǔ)言、以及相關(guān)的數(shù)據(jù)倉(cāng)庫(kù)，擴(kuò)展性超強(qiáng)
77、Hivemall
結(jié)合了面向Hive的多種機(jī)器學(xué)習(xí)算法，它包括了很多擴(kuò)展性很好的算法，可用于數(shù)據(jù)分類、遞歸、推薦、k最近鄰、異常檢測(cè)和特征哈希等方面的分析應(yīng)用。
78、 RapidMiner
具有豐富數(shù)據(jù)挖掘分析和算法功能，常用于解決各種的商業(yè)關(guān)鍵問題，解決方案覆蓋了各個(gè)領(lǐng)域，包括汽車、銀行、保險(xiǎn)、生命科學(xué)、制造業(yè)、石油和天然氣、零售業(yè)及快消行業(yè)、通訊業(yè)、以及公用事業(yè)等各個(gè)行業(yè)。
79、 Mahout
目的是“為快速創(chuàng)建可擴(kuò)展、高性能的機(jī)器學(xué)習(xí)應(yīng)用程序而打造一個(gè)環(huán)境”，主要特點(diǎn)是為可伸縮的算法提供可擴(kuò)展環(huán)境、面向Scala/Spark/H2O/Flink的新穎算法、Samsara（類似R的矢量數(shù)學(xué)環(huán)境），它還包括了用于在MapReduce上進(jìn)行數(shù)據(jù)挖掘的眾多算法。
80、Tableau
Tableau 是一款企業(yè)級(jí)的大數(shù)據(jù)可視化工具。Tableau 可以讓你輕松創(chuàng)建圖形，表格和地圖。 它不僅提供了PC桌面版，還提供了服務(wù)器解決方案，可以讓您在線生成可視化報(bào)告。服務(wù)器解決方案可以提供了云托管服務(wù)。Tableau的客戶包括巴克萊銀行，Pandora和Citrix等企業(yè)
81、Infogram
Infogram的最大優(yōu)勢(shì)在于，讓您的可視化信息圖表與實(shí)時(shí)大數(shù)據(jù)相鏈接。只須三個(gè)簡(jiǎn)單步驟，您可以選擇在眾多圖表，地圖，甚至是視頻可視化模板中進(jìn)行選擇。 Infogram支持團(tuán)隊(duì)賬號(hào)。
82、ChartBlocks
ChartBlocks是一個(gè)易于使用在線工具，它無(wú)需編碼，便能從電子表格，數(shù)據(jù)庫(kù)中構(gòu)建可視化圖表。整個(gè)過程可以在圖表向?qū)У闹笇?dǎo)下完成。您的圖表將在HTML5的框架下使用強(qiáng)大的Java庫(kù)D3.js創(chuàng)建圖表。你的圖表是響應(yīng)式的，并且可以和任何的屏幕尺寸及設(shè)備兼容。 您還可以將圖表嵌入任何網(wǎng)頁(yè)中，分享在Twitter和Facebook上。
83、Datawrapper
Datawrapper是一款專注于新聞和出版的可視化工具。華盛頓郵報(bào)，衛(wèi)報(bào)，華爾街日?qǐng)?bào)和Twitter等媒體都使用了這一工具。Datawrapper非常容易使用，不需要任何編程基礎(chǔ)。你只需要上傳你的數(shù)據(jù)，便能輕松地創(chuàng)建和發(fā)布圖表，甚至是地圖。Datawrapper提供了眾多的自定義布局及地圖模板。
84、Plotly
Plotly幫助你在短短幾分鐘內(nèi)，從簡(jiǎn)單的電子表格中開始創(chuàng)建漂亮的圖表。Plotly已經(jīng)為谷歌、美國(guó)空軍和紐約大學(xué)等機(jī)構(gòu)所使用。 Plotly是一個(gè)非常人性化的網(wǎng)絡(luò)工具，讓你在幾分鐘內(nèi)啟動(dòng)。如果你的團(tuán)隊(duì)希望為JavaScript和Python等編程語(yǔ)言提供一個(gè)API接口的話，Plotly是一款非常人性化的工具。
85、RAW
RAW彌補(bǔ)了很多工具在電子表格和矢量圖形（SVG）之間的缺失環(huán)節(jié)。你的大數(shù)據(jù)可以來(lái)自MicrosoftExcel中，谷歌文檔或是一個(gè)簡(jiǎn)單的逗號(hào)分隔的列表。它最厲害的功能是可以很容易地導(dǎo)出可視化結(jié)果，因?yàn)樗虯dobe Illustrator，Sketch 和Inkscape是相容的。
86、Visual.ly
isual.ly是一個(gè)可視化的內(nèi)容服務(wù)。它提供專門的大數(shù)據(jù)可視化的服務(wù)，用戶包括了VISA，耐克，Twitter，福特和國(guó)家地理等。如果你想完全外包可視化文件給第三方。你可以使用非常簡(jiǎn)化的在線流程：你只需描述你的項(xiàng)目，服務(wù)團(tuán)隊(duì)將在項(xiàng)目的整個(gè)持續(xù)時(shí)間內(nèi)和你在一起。 Visual.ly給您發(fā)送所有項(xiàng)目關(guān)鍵點(diǎn)的郵件通知，也將讓你不斷給出反饋。
87、D3.js
毋容置疑D3.js是最好的數(shù)據(jù)可視化工具庫(kù)。D3.js運(yùn)行在JavaScript上，并使用HTML，CSS和SVG。 D3.js是開源工具，使用數(shù)據(jù)驅(qū)動(dòng)的方式創(chuàng)建漂亮的網(wǎng)頁(yè)。 D3.js可實(shí)現(xiàn)實(shí)時(shí)交互。這個(gè)庫(kù)非常強(qiáng)大和前沿，所以它帶有沒有預(yù)置圖表也不支持IE9。
88、Ember Charts
Ember Charts – 顧名思義是一種基于Ember.js框架和使用d3.js的可視化工具。Ember Charts以繪制時(shí)間序列圖，柱狀圖，餅圖和散點(diǎn)圖為主。它非常優(yōu)易于擴(kuò)展。同為Ember.js開發(fā)團(tuán)隊(duì)，Ember Charts聚焦于圖形互動(dòng)性。它有極強(qiáng)的錯(cuò)誤處理能力，當(dāng)你遇到壞數(shù)據(jù)時(shí)，系統(tǒng)也不會(huì)崩潰
89、NVD3
NVD3運(yùn)行在d3.js之上, 它可建立可重用的圖表組件。該項(xiàng)目的目標(biāo)是保持所有的圖表整潔和可定制性。 NVD3是d3.js之上的簡(jiǎn)單的接口，保持了d3.js的所有強(qiáng)大功能。 NVD3由Novus Partners前端工程師開發(fā)和使其保持了圖表技術(shù)洞察力。
90、Google Charts
Google Charts 以HTML5和SVG為基礎(chǔ)，充分考慮了跨瀏覽器的兼容性，并通過VML支持舊版本的IE瀏覽器。所有您將創(chuàng)建的圖表是交互式的，有的還可縮放。Google Charts是非常人性化和他們的網(wǎng)站擁有一個(gè)非常好的，全面的模板庫(kù)，你可以從中找到所需模板。
91、FusionCharts
FusionCharts是最全面的JavaScript圖表庫(kù)，包括90個(gè)圖表和900種地圖。如果你不是特別喜歡的JavaScript。FusionCharts可以輕松集成像jQuery庫(kù)，Angularjs和React框架以及ASP.NET和PHP語(yǔ)言。 FusionCharts支持JSON和XML數(shù)據(jù)，并提供許多格式圖表：PNG，JPEG，SVG和PDF。
92、Highcharts
Highcharts是一個(gè)JavaScript API與jQuery的集成，全球最大的100家公司中有61家正在使用它。圖表使用SVG格式，并使用VML支持舊版瀏覽器。它提供了兩個(gè)專門的圖表類型：Highstock和Highmaps，并且還配備了一系列的插件。你可以免費(fèi)使用它，而如果你想建立付費(fèi)的應(yīng)用，只須支付少量牌照費(fèi)用。此外，你還可以使用Highcharts云服務(wù)。
93、Chart.js
對(duì)于一個(gè)小項(xiàng)目的圖表，chart.js是一個(gè)很好的選擇。開源，只有11KB大小，這使得它快速且易于使用，它支持多種圖表類型: 餅圖，線性圖和雷達(dá)圖等。
94、Leaflet
你是否專注于專業(yè)的大數(shù)據(jù)解決方案？無(wú)需餅圖和條形圖？Leafleft 基于Open Street Map數(shù)據(jù)，使用HTML5 / CSS3繪制互動(dòng)式可視化圖。您可以使用他們的擴(kuò)展插件庫(kù)添加熱點(diǎn)圖（heatmaps）和動(dòng)畫標(biāo)記。 Leaflet 是開源和只有33 KB大小。
95、Chartist.js
Chartist.js的開發(fā)社區(qū)一直致力于打敗所有其他JavaScript圖表庫(kù)。它使用了Sass的個(gè)性化風(fēng)格，它的SVG輸出是響應(yīng)式的。
96、n3-charts
N3-charts是一種基于AngularJS框架的工具。它建立在D3.js之上，幫助您創(chuàng)建簡(jiǎn)單的互動(dòng)圖表。 N3-charts是一種小型化的圖表工具，不適用于大型項(xiàng)目。
97、 Sigma JS
Sigma JS 是交互式可視化工具庫(kù)。由于使用了WebGL技術(shù)，你可以使用鼠標(biāo)和觸摸的方式來(lái)更新和變換圖表。Sigma JS同時(shí)支持JSON和GEXF兩種數(shù)據(jù)格式。這為它提供了大量的可用互動(dòng)式插件。Sigma JS 專注于網(wǎng)頁(yè)格式的網(wǎng)絡(luò)圖可視化。因此它在大數(shù)據(jù)網(wǎng)絡(luò)可視化中非常有用。
98、Polymaps
Polymaps是一款地圖可視化一個(gè)JavaScript工具庫(kù)。 Polymaps使用SVG實(shí)現(xiàn)從國(guó)家到街道一級(jí)地理數(shù)據(jù)的可視化。您可以使用CSS格式來(lái)修改你的樣式。Polymaps使用GeoJSON來(lái)解釋地理數(shù)據(jù)。它是創(chuàng)建heatmap熱點(diǎn)圖的最好的工具之一。您創(chuàng)建的所有地圖都可以變成動(dòng)態(tài)圖。
99、Processing.js
Processing.js是一個(gè)基于可視化編程語(yǔ)言的JavaScript庫(kù)。作為一種面向Web的JavaScript庫(kù)，Processing.js是您能夠有效進(jìn)行網(wǎng)頁(yè)格式圖表處理。這使得它成為了一種非常好交換式可視化工具。 Processing.js需要一個(gè)兼容HTML5的瀏覽器來(lái)實(shí)現(xiàn)這一功能。
100、Pentaho BI
Pentaho BI 平臺(tái)不同于傳統(tǒng)的BI 產(chǎn)品，它是一個(gè)以流程為中心的，面向解決方案（Solution）的框架。其目的在于將一系列企業(yè)級(jí)BI產(chǎn)品、開源軟件、API等等組件集成起來(lái)，方便商務(wù)智能應(yīng)用的開發(fā)。它的出現(xiàn)，使得一系列的面向商務(wù)智能的獨(dú)立產(chǎn)品如Jfree、Quartz等等，能夠集成在一起，構(gòu)成一項(xiàng)項(xiàng)復(fù)雜的、完整的商務(wù)智能解決方案。
