前面我們已經(jīng)安裝了storm，storm有兩種模式，一是本地模式，主要用于學(xué)習(xí)和測試，另一個(gè)是集群模式，實(shí)際生產(chǎn)中使用這種模式。本節(jié)將闡述如何使用本地模式的storm進(jìn)行詞頻...
發(fā)簡信
IP屬地：上海
-
02 使用Storm的本地模式完成詞頻統(tǒng)計(jì)
-
11 sparkstreaming監(jiān)控端口信息
前面我們已經(jīng)了解了sparksql的使用，這一節(jié)我們將了解spark當(dāng)中的流處理即spark-streaming。 1 系統(tǒng)、軟件以及前提約束 CentOS 7 64 工作站...
-
08 使用spark訪問Hbase
前面我們使用spark訪問了mysql以及hive，接下來我們將使用spark訪問hbase。 1 系統(tǒng)、軟件以及前提約束 CentOS 7 64 工作站 作者的機(jī)子ip是1...
-
12 Spark Streaming作為kafka的消費(fèi)者【scala】
前面我們使用Spark Streaming去監(jiān)聽了端口數(shù)據(jù)，接下來我們將使用Spark Streaming作為kafka的消費(fèi)者。 1 系統(tǒng)、軟件以及前提約束 CentOS ...
-
01 在CentOS7當(dāng)中安裝Storm
數(shù)據(jù)分兩類，一類是靜態(tài)處理，多做批量處理，屬于OLAP，一類是流式數(shù)據(jù)，多做實(shí)時(shí)處理，屬于OLTP。Spark Streaming屬于微批處理，并非真正意義上的實(shí)時(shí)處理。本節(jié)...
-
12-linux下sbt的安裝和使用
sbt類似于maven，是一個(gè)強(qiáng)大的項(xiàng)目管理和依賴管理工具。本文將闡述如何在linux中安裝sbt。 1 系統(tǒng)、軟件和前提約束 CentOS 7 sbt-1.2.8以上軟件的...
-
07 表的約束-建表之后再添加上一節(jié)我們了解了在建表時(shí)如何創(chuàng)建約束，本文將闡述如何在建表之后添加約束。 1 系統(tǒng)、環(huán)境和前提約束 win10 64 熟悉表的約束 https://www.jianshu.c...
-
06 函數(shù)式編程
函數(shù)式編程靈活又性能優(yōu)異，本文將闡述scala中的函數(shù)式編程。 1 系統(tǒng)、軟件以及前提約束 win10 64位 以了解scala中的類與對(duì)象，并進(jìn)行codehttps://w...
個(gè)人介紹
蘭州大學(xué)畢業(yè)，10多年軟件開發(fā)經(jīng)驗(yàn)，善于系統(tǒng)性設(shè)計(jì)多種技術(shù)映射到問題解決空間。java出身，精通設(shè)計(jì)模式，熟悉經(jīng)典算法，主要從事方向?yàn)榉植际胶痛髷?shù)據(jù)研發(fā)，對(duì)高并發(fā)、大流量設(shè)計(jì)思想有深刻理解和運(yùn)用，且喜歡中國和世界歷史。