發(fā)簡信
IP屬地：江西
-
-
synchronizedsynchronized synchroized 是一個(gè)重量級鎖，但是現(xiàn)在經(jīng)過優(yōu)化后，引入了自旋鎖、鎖消除、鎖粗化、偏向鎖、輕量級鎖、重量級鎖后已經(jīng)不是很笨重了。 synch...
-
Spark GraphXSpark GraphX概述 GraphX是Spark的一個(gè)組件，專門用來表示圖以及進(jìn)行圖的并行計(jì)算。GraphX通過重新定義了圖的抽象概念來拓展了RDD：定向多圖，其屬性附...
-
@哇哈哈_8816 主要是聯(lián)系一下如何搭建，我后來用三個(gè)阿里云機(jī)器，都是1C2G的，自己玩還行
阿里云使用Docker搭建Hadoop集群
摘要 吐血整理，搭建了兩遍，親測可用?。?！我買的是阿里云2C4G的服務(wù)器，使用的是CentOS 7.7版本。在搭建過程中踩了不少坑，本篇文章希望對大家有用 CentOS 7....
-
Spark StreamingSpark Streaming 隨著大數(shù)據(jù)技術(shù)的不斷發(fā)展，人們對于大數(shù)據(jù)的實(shí)時(shí)性處理要求也在不斷提高，傳統(tǒng) 的 MapReduce 等批處理框架在某些特定領(lǐng)域，例如實(shí)時(shí)用戶推...
-
-
Spark Core - 高階編程序列化 在實(shí)際開發(fā)中會自定義一些對RDD的操作，此時(shí)需要注意的是： 初始化工作在Driver端進(jìn)行的 實(shí)際運(yùn)行程序是在Executor端進(jìn)行的 那么在這個(gè)過程就涉及到網(wǎng)絡(luò)通信...
-
Spark Core - 編程基礎(chǔ)RDD編程 什么是RDD RDD是Spark的基石，是實(shí)現(xiàn)Spark數(shù)據(jù)處理的核心抽象。RDD是一個(gè)抽象類，它代表一個(gè)不可變、可分區(qū)、里面元素可并行計(jì)算的集合。 RDD（Re...
-
-
scala-隱式機(jī)制及Akka隱式機(jī)制及Akka 隱式轉(zhuǎn)換 隱式轉(zhuǎn)換和隱式參數(shù)時(shí)Scala中兩個(gè)非常強(qiáng)大的功能，利用隱式轉(zhuǎn)換和隱式參數(shù)，可以提供類庫，對類庫的使用者隱匿掉具體細(xì)節(jié)。 Scala會根據(jù)隱式轉(zhuǎn)...
-
-
scala-函數(shù)及抽象化函數(shù)及抽象化 函數(shù)字面量及函數(shù)的定義 Scala中函數(shù)為頭等公民，不僅可以定義一個(gè)函數(shù)然后調(diào)用它，還可以寫一個(gè)未命名的函數(shù)字面量，然后可以把它當(dāng)成一個(gè)值傳遞到其它函數(shù)或是賦值...
-
scala-模式匹配和樣例類模式匹配和樣例類 模式匹配 Scala沒有Java中的switch case，它有一個(gè)更加強(qiáng)大的模式匹配機(jī)制，可以應(yīng)用到很多場合。 Scala的模式匹配可以匹配各種情況，比如...
-
scala-繼承與特質(zhì)繼承與特質(zhì) 繼承 繼承的概念 使用extends關(guān)鍵字： 構(gòu)造器的執(zhí)行順序 Scala在繼承的時(shí)候構(gòu)造器的執(zhí)行順序：首先執(zhí)行父類的主構(gòu)造器，其次執(zhí)行子類自身的主構(gòu)造器。 類有...
-
scala-類和對象類和對象 Scala是一個(gè)函數(shù)式面向?qū)ο笳Z言 什么是面向?qū)ο螅?面向?qū)ο笫且环N變成語言，它是基于面向過程的，強(qiáng)調(diào)的是以對象為基礎(chǔ)完成各種操作 三大特點(diǎn)： 跟符合程序員的思考習(xí)...
-
scala-數(shù)組與元組數(shù)組與元組 數(shù)組定義 數(shù)組幾乎是所有語言中最基礎(chǔ)的數(shù)據(jù)結(jié)構(gòu)，數(shù)組可索引、類型一致、長度不變 Scala數(shù)組分為定長數(shù)組和變長數(shù)組 定長數(shù)組：Array 變長數(shù)組：ArrayB...
