發(fā)簡信
IP屬地：吉林
-
storm 學(xué)習(xí)（三）與 spark streaming 比較
一、按點對比 二、編程實現(xiàn)對比 Storm初次是由Clojure實現(xiàn)，后有Java和Python。而 Spark Streaming是使用Sca...
-
storm 學(xué)習(xí)（二）與 hadoop比較
一、問題 1.hadoop、Storm各是什么運算？2.Storm為什么被稱之為流式計算系統(tǒng)？3.hadoop適合什么場景，什么情況下使用had...
-
storm 學(xué)習(xí)（一）介紹一、Storm是什么 Storm是一個免費并開源的分布式實時計算系統(tǒng)。利用Storm可以很容易做到可靠地處理無限的數(shù)據(jù)流，像Hadoop批量處理...
-
kafka 基礎(chǔ)知識整理（三）kafka + spark streamingKafka為一個分布式的消息隊列，spark流操作kafka有兩種方式：一種是利用接收器（receiver）和kafaka的高層API實現(xiàn)。一種...
-
kafka 基礎(chǔ)知識整理（二）集群部署示例
1、準備好kafka安裝包，unzip xxx.zip 解壓。 4、三臺機器都修改好zookeeper.properties文件和創(chuàng)建好myid...
-
kafka 基礎(chǔ)知識整理（一）- 概述一、背景介紹 Kafka是一種高吞吐量的，分布式，快速、可擴展的，分區(qū)和可復(fù)制，基于發(fā)布／訂閱模式的消息系統(tǒng)，由Linkedin開發(fā)，之后成為A...
-
spark 基礎(chǔ)知識整理（四）- spark streaming專題
一、概述 Spark Streaming是基于Core Spark API的可擴展，高吞吐量，并具有容錯能力的用于處理實時數(shù)據(jù)流的一個組件。Sp...
-
spark 基礎(chǔ)知識整理（三）- spark SQL專題一、簡介 Spark SQL是Spark中處理結(jié)構(gòu)化數(shù)據(jù)的模塊。與基礎(chǔ)的Spark RDD API不同，Spark SQL的接口提供了更多關(guān)于數(shù)...
-
spark 基礎(chǔ)知識整理（二）- RDD專題一、RDD及其特點 **1. **RDD（Resillient Distributed Dataset）彈性分布式數(shù)據(jù)集，是spark提供的核心...