Spark 作為一個(gè)以擅長(zhǎng)內(nèi)存計(jì)算為優(yōu)勢(shì)的計(jì)算引擎,內(nèi)存管理方案是其非常重要的模塊。作為使用者的我們,搞清楚 Spark 是如何管理內(nèi)存的,對(duì)我們編碼、調(diào)試及優(yōu)化過(guò)程會(huì)有很大...
Spark 作為一個(gè)以擅長(zhǎng)內(nèi)存計(jì)算為優(yōu)勢(shì)的計(jì)算引擎,內(nèi)存管理方案是其非常重要的模塊。作為使用者的我們,搞清楚 Spark 是如何管理內(nèi)存的,對(duì)我們編碼、調(diào)試及優(yōu)化過(guò)程會(huì)有很大...
本文作者: 楊曉輝 本文鏈接: http://youngxhui.github.io/2017/09/01/協(xié)同過(guò)濾算法/ 版權(quán)聲明: 本博客所有文章除特別聲明外,均采用 C...
1.什么是事務(wù)? 例如像銀行轉(zhuǎn)賬,A對(duì)B轉(zhuǎn)賬,B是否能收到多次轉(zhuǎn)賬,可能性不大;或者A轉(zhuǎn)給B的時(shí)候,A同樣費(fèi)用被扣了多次,B只收到一次,這樣也不可能。也就是說(shuō)我們要做的...
前言 接上一篇關(guān)系數(shù)據(jù)庫(kù)SQL之基本數(shù)據(jù)查詢(xún):子查詢(xún)、分組查詢(xún)、模糊查詢(xún),主要是關(guān)系型數(shù)據(jù)庫(kù)基本數(shù)據(jù)查詢(xún)。包括子查詢(xún)、分組查詢(xún)、聚合函數(shù)查詢(xún)、模糊查詢(xún),本文是介紹一下關(guān)系型數(shù)...
Streaming job 的調(diào)度與執(zhí)行 結(jié)合文章 揭開(kāi)Spark Streaming神秘面紗④ - job 的提交與執(zhí)行[http://www.itdecent.cn/p...
1.Shell腳本 1.1 格式 首行 #!/bin/bash 指定解釋器 1.2 注釋 '#'開(kāi)頭的行,'#!'是例外此外,# 是特殊字符,可以出現(xiàn)在一些參數(shù)代換結(jié)構(gòu)...
去年帶我家白先生一起去參加我的高中同學(xué)聚會(huì),推杯換盞之間、鶯歌燕舞之后,大家仍意猶未盡。于是我們?nèi)齼蓛蓢鸂t而坐,暢談畢業(yè)之后的種種。 一個(gè)當(dāng)年相處不錯(cuò)的男同學(xué)跟我聊了會(huì)兒,...
Spark 默認(rèn)采用的是資源預(yù)分配的方式。這其實(shí)也和按需做資源分配的理念是有沖突的。這篇文章會(huì)詳細(xì)介紹Spark 動(dòng)態(tài)資源分配原理。 前言 最近在使用Spark Stream...
前言 說(shuō)人話:其實(shí)就是講Spark Streaming 的好處與坑。好處主要從一些大的方面講,坑則是從實(shí)際場(chǎng)景中遇到的一些小細(xì)節(jié)描述。 玫瑰篇 玫瑰篇主要是說(shuō)Spark St...