窮人為錢工作，富人不為錢工作 這個(gè)世界大多數(shù)的人都在為錢而工作，這個(gè)世界百分之八十人為百分之二十的人打工。所以，如果身為一名上班族，大部分人是為短期的工資和福利工作的，但是從...
發(fā)簡信
IP屬地：重慶
-
-
spark源碼分析之Checkpoint的過程概述 checkpoint 的機(jī)制保證了需要訪問重復(fù)數(shù)據(jù)的應(yīng)用 Spark 的DAG執(zhí)行行圖可能很龐大，task 中計(jì)算鏈可能會很長，這時(shí)如果 task 中途運(yùn)行出錯(cuò)，那么 ...
-
利用web管理spark任務(wù)由于最近學(xué)習(xí)了Play Framework這個(gè)web開發(fā)框架，接口的設(shè)計(jì)和api非常炫酷。由于是scala寫的，所以這個(gè)框架對于和大數(shù)據(jù)框架結(jié)合來說個(gè)人覺得最非常適合。 每次...
-
致咪蒙們，免費(fèi)的毒藥，付費(fèi)的春藥有人說，內(nèi)容變現(xiàn)不新鮮。當(dāng)然，買書、雜志、報(bào)紙，都不是新鮮事。 但，互聯(lián)網(wǎng)里的內(nèi)容一向是「免費(fèi)」的，所以「付費(fèi)」才新鮮。 去新浪、網(wǎng)易看新聞，無論內(nèi)容如何精良，不用掏一個(gè)鋼镚...
-
MAPREDUCE原理篇(1)MAPREDUCE概念 Mapreduce是一個(gè)分布式運(yùn)算程序的編程框架，是用戶開發(fā)“基于hadoop的數(shù)據(jù)分析應(yīng)用”的核心框架；Mapreduce核心功能是將用戶編寫的業(yè)務(wù)...
-
