為什么需要調(diào)優(yōu) 在大數(shù)據(jù)計(jì)算領(lǐng)域，Spark已經(jīng)成為了越來(lái)越流行、越來(lái)越受歡迎的計(jì)算平臺(tái)之一。然而，通過Spark開發(fā)出高性能的大數(shù)據(jù)計(jì)算作業(yè)，并不是那么簡(jiǎn)單的。如果沒有對(duì)S...
發(fā)簡(jiǎn)信
IP屬地：重慶
-
Spark性能優(yōu)化筆記 -
Spark應(yīng)用學(xué)習(xí)筆記Sqoop sqoop 是 apache 旗下一款“Hadoop 和關(guān)系數(shù)據(jù)庫(kù)服務(wù)器之間傳送數(shù)據(jù)”的工具。核心的功能有兩個(gè)： 導(dǎo)入、遷入 導(dǎo)出、遷出 導(dǎo)入數(shù)據(jù)：MySQL，O...
-
Spark學(xué)習(xí)筆記Scala語(yǔ)法 至于scala語(yǔ)法而言，大致上和Java的語(yǔ)法類似，增加了一些函數(shù)式編程，具體語(yǔ)法可以參考Scala語(yǔ)法Scala是一種針對(duì) JVM 將函數(shù)和面向?qū)ο蠹夹g(shù)組合...
-
HBase學(xué)習(xí)筆記在對(duì)HBase進(jìn)行操作之前，首先學(xué)習(xí)一下HBase的基礎(chǔ)架構(gòu)和運(yùn)行原理。這里講解了 HBase 在大數(shù)據(jù)生態(tài)圈中的位置 HBase 與傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)的區(qū)別 HBase 相關(guān)的...
-
Hive學(xué)習(xí)筆記hive簡(jiǎn)介 解釋一：Hive是一個(gè)數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)工具在Hadoop中用來(lái)處理結(jié)構(gòu)化數(shù)據(jù)。它架構(gòu)在Hadoop之上，總歸為大數(shù)據(jù)，并使得查詢和分析方便。并提供簡(jiǎn)單的sql查詢功...
-
Hive中的全排序：order by,sort by, distribute by
寫mapreduce程序時(shí)，如果reduce個(gè)數(shù)>1，想要實(shí)現(xiàn)全排序需要控制好map的輸出，詳見Hadoop簡(jiǎn)單實(shí)現(xiàn)全排序 現(xiàn)在學(xué)了hive，寫sql大家都很熟悉，如果一個(gè)o...
-
-
Linux基礎(chǔ)學(xué)習(xí)筆記安裝虛擬機(jī) 首先從阿里鏡像官網(wǎng)下載centos6.5的ISO鏡像文件，然后用VMware安裝centos的虛擬機(jī)。 填寫需要?jiǎng)?chuàng)建的虛擬機(jī)的基本配置信息，暫時(shí)把內(nèi)存設(shè)為1GB，...
-
mybatis 密碼正確但是報(bào)錯(cuò)
錯(cuò)誤信息 在dataSource配置中數(shù)據(jù)庫(kù)賬號(hào)密碼配置正確的情況下，如果名字是root，使用${username}配置連接池的user屬性會(huì)出現(xiàn)密碼錯(cuò)誤的異常，解決方法是把...
-
簡(jiǎn)易ssm框架流程
首先創(chuàng)建maven規(guī)范的Javaweb項(xiàng)目,并在pom.xml中引入相關(guān)的jar包 創(chuàng)建實(shí)體包,用于存放項(xiàng)目相關(guān)實(shí)體對(duì)象（pojo） Dao層 創(chuàng)建dao包,用于存放數(shù)據(jù)訪問...
-
Zookeeper集群環(huán)境搭建
1.準(zhǔn)備2n+1臺(tái)相互連通的虛擬機(jī) 2n+1是為了方便zookeeper的leader選舉策略 2.卸載自帶的openjdk并安裝oracle JDK 先查看 rpm -qa...
-
自然科普專題收錄與推薦標(biāo)準(zhǔn)請(qǐng)參考: http://www.itdecent.cn/p/e38bf5116797 如因?yàn)橐恍┛筛膭?dòng)的問題被拒稿，請(qǐng)?jiān)谛薷暮蠛?jiǎn)信聯(lián)系主編：刷牙喝涼白開，主編審核后將收錄符合要求的文章；如在了解收錄標(biāo)準(zhǔn)后仍對(duì)拒稿有異議，也可簡(jiǎn)信聯(lián)系主編。 《自然科普月刊》將恢復(fù)發(fā)刊，歡迎大家踴躍投稿，投稿可發(fā)鏈接給主編。 專題長(zhǎng)期招募副編。副編招募信息見下： http://www.itdecent.cn/p/9d116265ccc1
-
如果你是程序員，或者有一顆喜歡寫程序的心，喜歡分享技術(shù)干貨、項(xiàng)目經(jīng)驗(yàn)、程序員日常囧事等等，歡迎投稿《程序員》專題。 專題主編：小彤花園 http://www.itdecent.cn/users/4a4eb4feee62/ 【程序員】專題拒稿指北：http://www.itdecent.cn/p/7c8b33b5f63b 投稿須知： 1.收錄相關(guān)技術(shù)文章，但不限于技術(shù)，也可以是項(xiàng)目經(jīng)驗(yàn)類的文章和程序員日常。 2.文章內(nèi)不得有任何推廣信息。包括但不限于公眾號(hào)、微博、微信，更不得在通過投稿后再修改文章加入推廣信息。你可以將這些推廣以及個(gè)人信息放在個(gè)人主頁(yè)介紹里。 3.字?jǐn)?shù)極少，段落混亂，大段代碼沒有放到代碼框的文章不收錄 4.不相關(guān)的內(nèi)容不收錄，請(qǐng)確認(rèn)文章內(nèi)容和本專題相關(guān) 目前針對(duì)優(yōu)質(zhì)作者及愛好者，開設(shè)了官方程序員微信群，希望加入請(qǐng)發(fā)簡(jiǎn)信給主編小彤花園索取個(gè)人微信，主編會(huì)將你加入到【程序員】微信群，分享內(nèi)容，收獲知識(shí)。添加微信時(shí)備注昵稱。
-
Hi，很高興在@IT·互聯(lián)網(wǎng)專題遇見你。 收錄范圍：收錄IT&互聯(lián)網(wǎng)行業(yè)觀察與思考，數(shù)碼產(chǎn)品極客體驗(yàn)分析等類型文章 投稿須知：http://www.itdecent.cn/p/4edc76104c27 專題主編：@若錦 http://www.itdecent.cn/u/e4c63b354a77 官方社群：可聯(lián)系添加 @若錦 加入專題官方社群交流、學(xué)習(xí)，添加時(shí)備注簡(jiǎn)書ID。
