最近升級(jí)了Intellij IDEA的最新版 2018.1版本。發(fā)現(xiàn)git插件的push的邏輯有了變更,適應(yīng)了好大一會(huì)。 舊的版本上,根據(jù)遠(yuǎn)程分...
考慮了很久,終于換了一個(gè)部門,換了一份工作,換工作之前已經(jīng)渾渾噩噩半年多時(shí)間,最大的感慨就是,換了部門之后,感覺整個(gè)人都活過來了,又找到了年輕人...
前言:項(xiàng)目中用到的緩存數(shù)據(jù)庫(kù)是同事自己寫的,雖然可用,但是很多特性都感覺差了一點(diǎn)意思,僅僅是可用。于是乎萌生一個(gè)想法,能不能用redis來替代我...
大概是假期綜合征的原因,翻來覆去睡不著,索性起來寫點(diǎn)東西。 在微博、知乎、簡(jiǎn)書上關(guān)注了一些大牛,發(fā)現(xiàn)他們有一個(gè)共同的特點(diǎn): 懂得分享 。 新的時(shí)...
創(chuàng)建數(shù)據(jù)庫(kù)連接: 第一次創(chuàng)建數(shù)據(jù)庫(kù)連接,要下載相應(yīng)的驅(qū)動(dòng): 驅(qū)動(dòng)下載好以后,填寫好數(shù)據(jù)庫(kù)的信息: 創(chuàng)建好連接就可以使用了:
Spark分為兩種API:Transformations和Actions。 Transformations的常用操作有:map,filter,f...
看了好幾天spark源碼,今天突然想試一試如何把spark編譯出來。記錄一下編譯過程。第一步,下載源碼:下載源碼,考慮到墻的存在,沒有直接使用s...
閑來無事,研究一下Spark Rdd的處理過程。以一個(gè)簡(jiǎn)單的例子看看: 首先看第一行代碼。val textRDD = sc.textFile("...
實(shí)現(xiàn): 首先基于topic,創(chuàng)建出kafka的DStream流 val sparkConf = new SparkConf().setAppNa...