JMM JMM(Java內(nèi)存模型,Java Memory Model)本身是一種抽象的概念,并不真實(shí)存在,它描述的是一組規(guī)則或規(guī)范,通過規(guī)范定制...
synchronized synchroized 是一個(gè)重量級(jí)鎖,但是現(xiàn)在經(jīng)過優(yōu)化后,引入了自旋鎖、鎖消除、鎖粗化、偏向鎖、輕量級(jí)鎖、重量級(jí)鎖后...
Spark GraphX概述 GraphX是Spark的一個(gè)組件,專門用來表示圖以及進(jìn)行圖的并行計(jì)算。GraphX通過重新定義了圖的抽象概念來拓...
Spark Streaming 隨著大數(shù)據(jù)技術(shù)的不斷發(fā)展,人們對(duì)于大數(shù)據(jù)的實(shí)時(shí)性處理要求也在不斷提高,傳統(tǒng) 的 MapReduce 等批處理框架...
Spark SQL Spark SQL的概述 Hive的誕生,主要是因?yàn)殚_發(fā)MapReduce程序?qū)?Java 要求比較高,為了讓他們能夠操作H...
序列化 在實(shí)際開發(fā)中會(huì)自定義一些對(duì)RDD的操作,此時(shí)需要注意的是: 初始化工作在Driver端進(jìn)行的 實(shí)際運(yùn)行程序是在Executor端進(jìn)行的 ...
RDD編程 什么是RDD RDD是Spark的基石,是實(shí)現(xiàn)Spark數(shù)據(jù)處理的核心抽象。RDD是一個(gè)抽象類,它代表一個(gè)不可變、可分區(qū)、里面元素可...
前言 內(nèi)容: MapReduce、Spark、Flink(實(shí)時(shí))=> 3代計(jì)算引擎,昨天、今天、未來 MapReduce、Spark:類MR引擎...
隱式機(jī)制及Akka 隱式轉(zhuǎn)換 隱式轉(zhuǎn)換和隱式參數(shù)時(shí)Scala中兩個(gè)非常強(qiáng)大的功能,利用隱式轉(zhuǎn)換和隱式參數(shù),可以提供類庫,對(duì)類庫的使用者隱匿掉具體...