文章地址：http://www.haha174.top/article/details/256486
1.storm簡介
Storm是一個(gè)分布式的，可靠的，容錯(cuò)的數(shù)據(jù)流處理系統(tǒng)。Storm集群的輸入流由一個(gè)被稱作spout的組件管理，spout把數(shù)據(jù)傳遞給bolt， bolt要么把數(shù)據(jù)保存到某種存儲器，要么把數(shù)據(jù)傳遞給其它的bolt。一個(gè)Storm集群就是在一連串的bolt之間轉(zhuǎn)換spout傳過來的數(shù)據(jù)。
2.對比
用一張圖來表示
- Spark Streaming與Storm的優(yōu)劣分析
事實(shí)上，Spark Streaming絕對談不上比Storm優(yōu)秀。這兩個(gè)框架在實(shí)時(shí)計(jì)算領(lǐng)域中，都很優(yōu)秀，只是擅長的細(xì)分場景并不相同。
Spark Streaming僅僅在吞吐量上比Storm要優(yōu)秀，而吞吐量這一點(diǎn)，也是歷來挺Spark Streaming，貶Storm的人著重強(qiáng)調(diào)的。但是問題是，是不是在所有的實(shí)時(shí)計(jì)算場景下，都那么注重吞吐量？不盡然。因此，通過吞吐量說Spark Streaming強(qiáng)于Storm，不靠譜。
事實(shí)上，Storm在實(shí)時(shí)延遲度上，比Spark Streaming就好多了，前者是純實(shí)時(shí)，后者是準(zhǔn)實(shí)時(shí)。而且，Storm的事務(wù)機(jī)制、健壯性 / 容錯(cuò)性、動(dòng)態(tài)調(diào)整并行度等特性，都要比Spark Streaming更加優(yōu)秀。
Spark Streaming，有一點(diǎn)是Storm絕對比不上的，就是：它位于Spark生態(tài)技術(shù)棧中，因此Spark Streaming可以和Spark Core、Spark SQL無縫整合，也就意味著，我們可以對實(shí)時(shí)處理出來的中間數(shù)據(jù)，立即在程序中無縫進(jìn)行延遲批處理、交互式查詢等操作。這個(gè)特點(diǎn)大大增強(qiáng)了Spark Streaming的優(yōu)勢和功能。
- Spark Streaming與Storm的應(yīng)用場景
4.1對于Storm來說：
1、建議在那種需要純實(shí)時(shí)，不能忍受1秒以上延遲的場景下使用，比如實(shí)時(shí)金融系統(tǒng)，要求純實(shí)時(shí)進(jìn)行金融交易和分析
2、此外，如果對于實(shí)時(shí)計(jì)算的功能中，要求可靠的事務(wù)機(jī)制和可靠性機(jī)制，即數(shù)據(jù)的處理完全精準(zhǔn)，一條也不能多，一條也不能少，也可以考慮使用Storm
3、如果還需要針對高峰低峰時(shí)間段，動(dòng)態(tài)調(diào)整實(shí)時(shí)計(jì)算程序的并行度，以最大限度利用集群資源（通常是在小型公司，集群資源緊張的情況），也可以考慮用Storm
4、如果一個(gè)大數(shù)據(jù)應(yīng)用系統(tǒng)，它就是純粹的實(shí)時(shí)計(jì)算，不需要在中間執(zhí)行SQL交互式查詢、復(fù)雜的transformation算子等，那么用Storm是比較好的選擇
4.2對于Spark Streaming來說：
1、如果對上述適用于Storm的三點(diǎn)，一條都不滿足的實(shí)時(shí)場景，即，不要求純實(shí)時(shí)，不要求強(qiáng)大可靠的事務(wù)機(jī)制，不要求動(dòng)態(tài)調(diào)整并行度，那么可以考慮使用Spark Streaming
2、考慮使用Spark Streaming最主要的一個(gè)因素，應(yīng)該是針對整個(gè)項(xiàng)目進(jìn)行宏觀的考慮，即，如果一個(gè)項(xiàng)目除了實(shí)時(shí)計(jì)算之外，還包括了離線批處理、交互式查詢等業(yè)務(wù)功能，而且實(shí)時(shí)計(jì)算中，可能還會(huì)牽扯到高延遲批處理、交互式查詢等功能，那么就應(yīng)該首選Spark生態(tài)，用Spark Core開發(fā)離線批處理，用Spark SQL開發(fā)交互式查詢，用Spark Streaming開發(fā)實(shí)時(shí)計(jì)算，三者可以無縫整合，給系統(tǒng)提供非常高的可擴(kuò)展性
歡迎關(guān)注，更多福利
