關(guān)注Java開(kāi)發(fā)相關(guān)技術(shù)
發(fā)簡(jiǎn)信
IP屬地：北京
-
-
System.out.println("Hello world!");
-
【源碼剖析】- Spark 新舊內(nèi)存管理方案（上）Spark 作為一個(gè)以擅長(zhǎng)內(nèi)存計(jì)算為優(yōu)勢(shì)的計(jì)算引擎，內(nèi)存管理方案是其非常重要的模塊。作為使用者的我們，搞清楚 Spark 是如何管理內(nèi)存的，對(duì)我們編碼、調(diào)試及優(yōu)化過(guò)程會(huì)有很大...
-
GitHub入門(mén)（一）本文作者： 楊曉輝 本文鏈接： http://youngxhui.github.io/2017/09/01/協(xié)同過(guò)濾算法/ 版權(quán)聲明： 本博客所有文章除特別聲明外，均采用 C...
-
Spark Streaming的Exactly-One的事務(wù)處理和不重復(fù)輸出徹底掌握1.什么是事務(wù)？ 例如像銀行轉(zhuǎn)賬，A對(duì)B轉(zhuǎn)賬，B是否能收到多次轉(zhuǎn)賬，可能性不大；或者A轉(zhuǎn)給B的時(shí)候，A同樣費(fèi)用被扣了多次，B只收到一次，這樣也不可能。也就是說(shuō)我們要做的...
-
-
你好，有一個(gè)小問(wèn)題，kafka 的direct API不能解決這個(gè)數(shù)據(jù)消費(fèi)的問(wèn)題么
為什么 Spark Streaming + Kafka 無(wú)法保證 exactly once？
Streaming job 的調(diào)度與執(zhí)行 結(jié)合文章 揭開(kāi)Spark Streaming神秘面紗④ - job 的提交與執(zhí)行[http://www.itdecent.cn/p...
-
關(guān)系數(shù)據(jù)庫(kù)SQL之高級(jí)數(shù)據(jù)查詢(xún):去重復(fù)、組合查詢(xún)、連接查詢(xún)、虛擬表前言 接上一篇關(guān)系數(shù)據(jù)庫(kù)SQL之基本數(shù)據(jù)查詢(xún):子查詢(xún)、分組查詢(xún)、模糊查詢(xún)，主要是關(guān)系型數(shù)據(jù)庫(kù)基本數(shù)據(jù)查詢(xún)。包括子查詢(xún)、分組查詢(xún)、聚合函數(shù)查詢(xún)、模糊查詢(xún)，本文是介紹一下關(guān)系型數(shù)...
-
劍圣喵大師，百萬(wàn)暢銷(xiāo)書(shū)作家，500萬(wàn)粉絲個(gè)人帳號(hào)意見(jiàn)領(lǐng)袖，省高校心理協(xié)會(huì)常務(wù)理事，網(wǎng)易新聞·網(wǎng)易號(hào)“各有態(tài)度”簽約作者，情緒管理達(dá)人，陪同讀者成就強(qiáng)大，愿得我心如明月，獨(dú)映寒夜迷途人。<br>著有《優(yōu)秀的人，從來(lái)不會(huì)輸給情緒》《掌控情緒，從來(lái)不靠忍》正在熱銷(xiāo)中，微信公眾號(hào)：劍圣喵大師（ID:swordpain）轉(zhuǎn)載請(qǐng)加微信：Ellude 聯(lián)系拉白。
-
Spark計(jì)算模型與I/O機(jī)制Part 1 1. Spark計(jì)算模型 1.1 Spark程序模型 首先通過(guò)一個(gè)簡(jiǎn)單的實(shí)例了解Spark的程序模型。 1）SparkContext中的textFile函數(shù)從H...
-
Spark1.5.0的安裝和部署
一、Spark集群部署 1、軟件版本 OS版本：Ubuntu 14.04 Hadoop版本：Hadoop 2.6.0 JDK版本：Jdk1.8.0_40 Scala版本：sc...
-
白日夢(mèng)30篇——送給美麗的妳
婉柔綽約，婷婷玉立 柔情似水，如碧波蕩漾 甜美的微笑，月牙的慧眼 讓人停眸，讓人心動(dòng) 大家閨秀的氣質(zhì)，小家碧玉的神色 讓人憐愛(ài)，讓人守護(hù) 靜待妳驕傲自由地綻放 風(fēng)中的向陽(yáng)花。...
-
Yarn Client模式下啟動(dòng)Spark的配置問(wèn)題
由于YARN client模式對(duì)用戶(hù)不直接暴露用于提交YARN程序的輔助程序，因此許多參數(shù)是通過(guò)環(huán)境變量來(lái)設(shè)置的，可以在spark-env.sh中進(jìn)行如下配置： 這是我的sp...
-
生如夏花の語(yǔ)錄
茶余飯后，品一品茗，看一看書(shū)，是何等的幸事。特別喜歡泰戈?duì)柕摹渡缦幕ā?，活就要活得有姿態(tài)，有溫度，有力度。下面是我最喜歡的60句話(huà)。 1.時(shí)間是變化的財(cái)富。時(shí)鐘模仿他，卻只...
-
Spark算子：統(tǒng)計(jì)RDD分區(qū)中的元素及數(shù)量
Spark RDD是被分區(qū)的，在生成RDD時(shí)候，一般可以指定分區(qū)的數(shù)量，如果不指定分區(qū)數(shù)量，當(dāng)RDD從集合創(chuàng)建時(shí)候，則默認(rèn)為該程序所分配到的資源的CPU核數(shù)，如果是從HDFS...
個(gè)人介紹