這篇文的起因來自NEXT主辦的keynote,主講是墨刀的張元一。聽完照著筆記梳理了下這次演講的邏輯,基本可以給0基礎(chǔ)的產(chǎn)品科普下技術(shù)常識。但邀請程序員來科普有兩大問題:一是...
這篇文的起因來自NEXT主辦的keynote,主講是墨刀的張元一。聽完照著筆記梳理了下這次演講的邏輯,基本可以給0基礎(chǔ)的產(chǎn)品科普下技術(shù)常識。但邀請程序員來科普有兩大問題:一是...
最近工作上忙于業(yè)務,相同的事情周而復始難免會止步不前,感覺已臨近迷失,需要重新補充下能量。但正如人人都說過的,產(chǎn)品經(jīng)理知識是一個復雜而博大且沒有專門教材的學科,所以花了點時間...
Spark整體架構(gòu): 在分布式環(huán)境下,Spark集群采用的是主從結(jié)構(gòu)。在一個Spark程序中,有一個節(jié)點負責中央?yún)f(xié)調(diào),調(diào)度各個分布式工作節(jié)點,這個中央?yún)f(xié)調(diào)節(jié)點被稱為驅(qū)動器(D...
一、Spark在任何情況下均比MapReduce高效嗎? 請舉例。 不是任何情況下都很高效,數(shù)據(jù)量非常大的時候MapReduce要比Spark快。比如:WordCount計算...
一、spark加載hadoop本地庫的時候出現(xiàn)不能加載的情況,這是什么原因?qū)е碌哪兀?我64位機器,當時hadoop啟動的時候出現(xiàn)不能加載本地類庫的這個問題是因為hadoop...
一、spark-shell在namenode的stand-by節(jié)點執(zhí)行會報sparkContext出錯,然后到active的namenode的機器起spark-shell就可...
WHAT: Hive是建立在Hadoop上的數(shù)據(jù)倉庫基礎(chǔ)構(gòu)架。它提供了一系列的工具,可以用來進行數(shù)據(jù)提取轉(zhuǎn)化加載(ETL ),這是一種可以存儲、查詢和分析存儲在 Hadoop...
** WHAT** YARN:集群資源管理系統(tǒng) Structure: ResourceManager:整個集群只有一個,負責集群資源的統(tǒng)一管理和調(diào)度處理客戶端請求啟動/監(jiān)控A...