數(shù)據(jù)湖正在成為一種越來越流行的大數(shù)據(jù)解決方案，而數(shù)據(jù)湖這個詞已經(jīng)被大數(shù)據(jù)供應(yīng)商賦予了太多不同的含義，如果有什么工作是傳統(tǒng)數(shù)據(jù)倉庫做不了的，那就把它塞進(jìn)數(shù)據(jù)湖，以至于數(shù)據(jù)湖已經(jīng)...
發(fā)簡信
IP屬地：北京
-
沒有銀彈：數(shù)據(jù)湖的現(xiàn)實與夢想 -
Spark 多個Stage執(zhí)行是串行執(zhí)行的么？上次在做內(nèi)部培訓(xùn)的時候，我講了這么一句： 一個Job里的Stage都是串行的，前一個Stage完成后下一個Stage才會進(jìn)行。 顯然上面的話是不嚴(yán)謹(jǐn)?shù)摹?看如下的代碼： 這里...
-
Java程序猿想超神？先回答這些問題。一、Java基礎(chǔ) 實例方法和靜態(tài)方法有什么不一樣？ Java中的異常有哪幾類？分別怎么使用？ 常用的集合類有哪些？比如List如何排序？ ArrayList和LinkedLi...
-
Spark不同Cluster Manager下的數(shù)據(jù)本地性表現(xiàn)
一. 概述 Spark中的數(shù)據(jù)本地性分為兩種 executor 層面的數(shù)據(jù)本地性 task 層面的數(shù)據(jù)本地性 在兩種本地性中，task層面的數(shù)據(jù)本地性是由Spark本身決定的...
-
2016，我的技術(shù)和詩前言 都說【同化】是一種很神奇的力量，看著大家都發(fā)新年感悟，大致就是回顧2016展望2017，我也沒把持住自己的【清高】，發(fā)了一段話： 2016年工作上還是有不少進(jìn)步的 開...
-
(課程)基于HBase做Storm 實時計算指標(biāo)存儲Hi，大家好！我是祝威廉，本來微博也想叫祝威廉的，可惜被人占了，于是改名叫·祝威廉二世。然后總感覺哪里不對。目前在樂視云數(shù)據(jù)部門里從事實時計算，數(shù)據(jù)平臺、搜索和推薦等多個方向...
-
『 Spark 』5. 這些年，你不能錯過的 spark 學(xué)習(xí)資源
原文鏈接：『 Spark 』5. 這些年，你不能錯過的 spark 學(xué)習(xí)資源 寫在前面 本系列是綜合了自己在學(xué)習(xí)spark過程中的理解記錄 ＋ 對參考文章中的一些理解 ＋ 個...
