發(fā)簡(jiǎn)信
IP屬地：吉林
-
storm 學(xué)習(xí)（三）與 spark streaming 比較
一、按點(diǎn)對(duì)比 二、編程實(shí)現(xiàn)對(duì)比 Storm初次是由Clojure實(shí)現(xiàn)，后有Java和Python。而 Spark Streaming是使用Sca...
-
storm 學(xué)習(xí)（二）與 hadoop比較
一、問(wèn)題 1.hadoop、Storm各是什么運(yùn)算？2.Storm為什么被稱之為流式計(jì)算系統(tǒng)？3.hadoop適合什么場(chǎng)景，什么情況下使用had...
-
storm 學(xué)習(xí)（一）介紹一、Storm是什么 Storm是一個(gè)免費(fèi)并開(kāi)源的分布式實(shí)時(shí)計(jì)算系統(tǒng)。利用Storm可以很容易做到可靠地處理無(wú)限的數(shù)據(jù)流，像Hadoop批量處理...
-
kafka 基礎(chǔ)知識(shí)整理（三）kafka + spark streamingKafka為一個(gè)分布式的消息隊(duì)列，spark流操作kafka有兩種方式：一種是利用接收器（receiver）和kafaka的高層API實(shí)現(xiàn)。一種...
-
kafka 基礎(chǔ)知識(shí)整理（二）集群部署示例
1、準(zhǔn)備好kafka安裝包，unzip xxx.zip 解壓。 4、三臺(tái)機(jī)器都修改好zookeeper.properties文件和創(chuàng)建好myid...
-
kafka 基礎(chǔ)知識(shí)整理（一）- 概述一、背景介紹 Kafka是一種高吞吐量的，分布式，快速、可擴(kuò)展的，分區(qū)和可復(fù)制，基于發(fā)布／訂閱模式的消息系統(tǒng)，由Linkedin開(kāi)發(fā)，之后成為A...
-
spark 基礎(chǔ)知識(shí)整理（四）- spark streaming專(zhuān)題
一、概述 Spark Streaming是基于Core Spark API的可擴(kuò)展，高吞吐量，并具有容錯(cuò)能力的用于處理實(shí)時(shí)數(shù)據(jù)流的一個(gè)組件。Sp...
-
spark 基礎(chǔ)知識(shí)整理（三）- spark SQL專(zhuān)題一、簡(jiǎn)介 Spark SQL是Spark中處理結(jié)構(gòu)化數(shù)據(jù)的模塊。與基礎(chǔ)的Spark RDD API不同，Spark SQL的接口提供了更多關(guān)于數(shù)...
-
spark 基礎(chǔ)知識(shí)整理（二）- RDD專(zhuān)題一、RDD及其特點(diǎn) **1. **RDD（Resillient Distributed Dataset）彈性分布式數(shù)據(jù)集，是spark提供的核心...