歐凱慣例：引子
世界上唯一不變的就是變化，大數(shù)據(jù)的架構(gòu)也不例外。
這次變化的推動(dòng)者，多是一些大的商業(yè)公司！
Teradata 美國(guó)天睿
Teradata這家公司其實(shí)挺陌生的，但這并不能讓我們忽視其在大數(shù)據(jù)方面做出的貢獻(xiàn)。簡(jiǎn)單一句描述這家公司的貢獻(xiàn)就是：
2008年之前，這家公司以
關(guān)系型為基礎(chǔ)，硬剛大數(shù)據(jù)，之后意識(shí)到數(shù)據(jù)實(shí)在太大大復(fù)雜了，終究實(shí)現(xiàn)了對(duì)非關(guān)系型數(shù)據(jù)的支持。
具體它拿關(guān)系型作為對(duì)大數(shù)據(jù)的解決方案硬剛到什么程度呢？拿一個(gè)數(shù)據(jù)說(shuō)來(lái)說(shuō)明白了，直到2017年，它可以基于其關(guān)系型解決方案處理50PB級(jí)別的數(shù)據(jù)。（當(dāng)然50PB在現(xiàn)在的大數(shù)據(jù)框架中都是毛毛雨了，不過(guò)這也從側(cè)面反應(yīng)出它對(duì)自己產(chǎn)品的自信與不舍)
LexisNexis
2000年，這家公司用C++開(kāi)發(fā)了一個(gè)分布式文件共享及數(shù)據(jù)存儲(chǔ)查詢框架，它可以在節(jié)點(diǎn)間處理結(jié)構(gòu)化，半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。2004年，它收購(gòu)了Seisint，又在2008年收購(gòu)了ChoicePoint，然后它基于二者的產(chǎn)品在2011年融合成了HPCC系統(tǒng)。HPCC是高性能計(jì)算集群的簡(jiǎn)稱。還不錯(cuò)，HPCC是開(kāi)源的。
其實(shí)在這里，我們就可以看到當(dāng)下主流的大數(shù)據(jù)處理框架的雛形了，所以這家公司在大數(shù)據(jù)處理方面的貢獻(xiàn)是很大的，這也得意于其管理者的眼光，通過(guò)買買買的策略實(shí)現(xiàn)技術(shù)的融合，推動(dòng)時(shí)代的進(jìn)步。
不值一提的歐洲核組織
CERN是歐洲核子研究組織，這里為什么要提到CERN呢？因?yàn)樗推渌囊恍┪锢韺?shí)現(xiàn)組織在幾十年內(nèi)積累了大量的數(shù)據(jù)，而且這些數(shù)據(jù)相當(dāng)?shù)木?，隨著計(jì)算機(jī)的發(fā)展，它們自然而然的選擇了以超級(jí)計(jì)算機(jī)作為這些數(shù)據(jù)的處理工具。這里反應(yīng)了大數(shù)據(jù)的一個(gè)側(cè)面，即，假如數(shù)據(jù)非常精密且內(nèi)部關(guān)系十分緊密，使用分布式并行處理可能并不方便，那只不能求助于超級(jí)計(jì)算機(jī)了，畢竟超級(jí)計(jì)算機(jī)『一個(gè)頂倆』。
牛逼哄哄的Google
曾經(jīng)豐田的廣告那叫一個(gè)牛逼啊『車到山前必有路，有路必有豐田車』，現(xiàn)在，谷歌在互聯(lián)網(wǎng)辦就是這般存在，而且是完全有過(guò)之。
2004年，谷歌發(fā)布了類似于HPCC的MapReduce，它提出了一個(gè)并行處理模型并成功發(fā)布了基于此的大數(shù)據(jù)處理工具。MapReduce包含兩個(gè)階段：
- Map階段：將數(shù)據(jù)的查詢進(jìn)行拆分，然后將子查詢分散到各個(gè)結(jié)點(diǎn)，各個(gè)結(jié)點(diǎn)并行處理各自的查詢。
- Reduce階段：收集并行結(jié)點(diǎn)的相關(guān)結(jié)果然后再次進(jìn)行分發(fā)。
這種設(shè)計(jì)相當(dāng)成功，所以后來(lái)Apache基于MapReduce框架創(chuàng)建了Hadoop這個(gè)開(kāi)源項(xiàng)目。
2012年，Apache又創(chuàng)建了Spark項(xiàng)目，該項(xiàng)目旨在解決MapReduce中Map階段后只能跟隨Reduce階段的局限，即可以按需配置多個(gè)操作。
大數(shù)據(jù)處理平臺(tái)的6C共識(shí)
- Connection(連接：傳感器和網(wǎng)絡(luò)傳輸)
- Cloud(云：計(jì)算和數(shù)據(jù)點(diǎn)播)
- Cyber(網(wǎng)絡(luò)：模型與存儲(chǔ))
- Content/Context(內(nèi)容與背景：意義與內(nèi)在關(guān)系)
- Community(社區(qū)：分享與協(xié)作)
- Customization(定制：個(gè)性化與價(jià)值)
歐凱慣例：小結(jié)
很明顯，大數(shù)據(jù)技術(shù)的革新是需求驅(qū)動(dòng)的，而主力就是當(dāng)代的有實(shí)力的技術(shù)公司，這里不得不在點(diǎn)名一個(gè)谷歌，是真強(qiáng)啊。
