Spark Streaming 概述 ? Spark Streaming用于流式數(shù)據(jù)的處理。Spark Streaming支持的數(shù)據(jù)輸入源很...
IDEA創(chuàng)建SparkSQL程序 IDEA中程序的打包和運(yùn)行方式都和SparkCore類似,Maven依賴中需要添加新的依賴項: 用戶自定義函數(shù)...
什么是Spark SQL ? Spark SQL是Spark用來處理結(jié)構(gòu)化數(shù)據(jù)的一個模塊,它提供了2個編程抽象:DataFrame和Data...
RDD 什么是RDD ? RDD(Resilient Distributed Dataset)叫做分布式數(shù)據(jù)集,是Spark中最基本的數(shù)據(jù)抽...
什么是Spark Spark是一種基于內(nèi)存的快速的,通用的,可擴(kuò)展的大數(shù)據(jù)分析引擎 Spark內(nèi)存模塊 Spark特點(diǎn) 快:與Hadoop和Ma...
Scala 高級用法 樣例類 ? 樣例類是一種特殊類,它可以用來快速定義一個用于保存數(shù)據(jù)的類(類似于Java POJO類),在后續(xù)要學(xué)習(xí)并發(fā)...
類和對象 scala是支持面向?qū)ο蟮?,也有類和對象的概念。我們依然可以基于scala語言來開發(fā)面向?qū)ο蟮膽?yīng)用程序。 創(chuàng)建類和對象 語法 使用cl...
函數(shù)式編程 我們將來使用Spark/Flink的大量業(yè)務(wù)代碼都會使用到函數(shù)式編程。下面的這些操作是學(xué)習(xí)的重點(diǎn)。 遍歷( foreach ) 映射...
Array (數(shù)組) scala中數(shù)組的概念是和Java類似,可以用數(shù)組來存放一組數(shù)據(jù)。scala中,有兩種數(shù)組,一種是定 長數(shù)組,另一種是變長...