Spark 作為一個(gè)以擅長(zhǎng)內(nèi)存計(jì)算為優(yōu)勢(shì)的計(jì)算引擎，內(nèi)存管理方案是其非常重要的模塊。作為使用者的我們，搞清楚 Spark 是如何管理內(nèi)存的，對(duì)我們編碼、調(diào)試及優(yōu)化過(guò)程會(huì)有很大...
發(fā)簡(jiǎn)信
IP屬地：北京
-
【源碼剖析】- Spark 新舊內(nèi)存管理方案（上） -
GitHub入門(mén)（一）本文作者： 楊曉輝 本文鏈接： http://youngxhui.github.io/2017/09/01/協(xié)同過(guò)濾算法/ 版權(quán)聲明： 本博客所有文章除特別聲明外，均采用 C...
-
Spark Streaming的Exactly-One的事務(wù)處理和不重復(fù)輸出徹底掌握1.什么是事務(wù)？ 例如像銀行轉(zhuǎn)賬，A對(duì)B轉(zhuǎn)賬，B是否能收到多次轉(zhuǎn)賬，可能性不大；或者A轉(zhuǎn)給B的時(shí)候，A同樣費(fèi)用被扣了多次，B只收到一次，這樣也不可能。也就是說(shuō)我們要做的...
-
關(guān)系數(shù)據(jù)庫(kù)SQL之高級(jí)數(shù)據(jù)查詢(xún):去重復(fù)、組合查詢(xún)、連接查詢(xún)、虛擬表前言 接上一篇關(guān)系數(shù)據(jù)庫(kù)SQL之基本數(shù)據(jù)查詢(xún):子查詢(xún)、分組查詢(xún)、模糊查詢(xún)，主要是關(guān)系型數(shù)據(jù)庫(kù)基本數(shù)據(jù)查詢(xún)。包括子查詢(xún)、分組查詢(xún)、聚合函數(shù)查詢(xún)、模糊查詢(xún)，本文是介紹一下關(guān)系型數(shù)...
-
為什么 Spark Streaming + Kafka 無(wú)法保證 exactly once？Streaming job 的調(diào)度與執(zhí)行 結(jié)合文章 揭開(kāi)Spark Streaming神秘面紗④ - job 的提交與執(zhí)行[http://www.itdecent.cn/p...
-
Shell學(xué)習(xí)筆記
1.Shell腳本 1.1 格式 首行 #!/bin/bash 指定解釋器 1.2 注釋 '#'開(kāi)頭的行，'#!'是例外此外，# 是特殊字符，可以出現(xiàn)在一些參數(shù)代換結(jié)構(gòu)...
-
女孩到底應(yīng)該找什么樣的男票去年帶我家白先生一起去參加我的高中同學(xué)聚會(huì)，推杯換盞之間、鶯歌燕舞之后，大家仍意猶未盡。于是我們?nèi)齼蓛蓢鸂t而坐，暢談畢業(yè)之后的種種。 一個(gè)當(dāng)年相處不錯(cuò)的男同學(xué)跟我聊了會(huì)兒，...
-
Spark 動(dòng)態(tài)資源分配(Dynamic Resource Allocation) 解析
Spark 默認(rèn)采用的是資源預(yù)分配的方式。這其實(shí)也和按需做資源分配的理念是有沖突的。這篇文章會(huì)詳細(xì)介紹Spark 動(dòng)態(tài)資源分配原理。 前言 最近在使用Spark Stream...
-
Spark Streaming 的玫瑰與刺
前言 說(shuō)人話：其實(shí)就是講Spark Streaming 的好處與坑。好處主要從一些大的方面講，坑則是從實(shí)際場(chǎng)景中遇到的一些小細(xì)節(jié)描述。 玫瑰篇 玫瑰篇主要是說(shuō)Spark St...
個(gè)人介紹