長尾問題(數(shù)據(jù)傾斜) 發(fā)生長尾問題的原因 在MapReduce中,Map階段和Reduce階段都有可能由多個(gè)節(jié)點(diǎn)進(jìn)行分布式計(jì)算,而如果在分布式計(jì)算時(shí),每個(gè)節(jié)點(diǎn)分配的任務(wù)不均衡...
小李喜歡同班的小梁,于是偷偷往小梁的課桌下塞紙條,紙條上寫著:你今天的裙子真好看!-小李。萬萬沒想到這一幕被班主任看見了,于是暗中使壞,把紙條上的字改成了:你今天的裙子也太土...
MySQL查詢執(zhí)行過程 一條SQL語句執(zhí)行的流程如下: 客戶端連接 MySQL 服務(wù)器,發(fā)布查詢 如果查詢緩存中有結(jié)果,則直接返回結(jié)果 如果結(jié)果沒有被緩存,則解析查詢,并對(duì)通...
HDFS HDFS 是 Hadoop Distributed File System 的簡稱,顧名思義這是一個(gè)分布式的文件系統(tǒng)。HDFS可以將文件存儲(chǔ)在不同的服務(wù)器上。其組成...
why 協(xié)程 一旦談到網(wǎng)絡(luò)相關(guān)的編程,總是繞不開同步、異步、阻塞以及非阻塞以及多線程等概念。近幾年,有關(guān)協(xié)程的話題也越來越多。學(xué)習(xí)一個(gè)概念的第一步總是學(xué)習(xí)它的作用以及它所解決...
程序員應(yīng)該這樣理解IO 引言 很多程序員會(huì)談及IO,仿佛是種時(shí)尚或者給自己貼金的方式,因?yàn)樘嵘纤话銜?huì)涉及應(yīng)用程序的性能相關(guān)話題,離高深的底層知識(shí)更接近了。但多數(shù)人的理解其實(shí)...
背包問題是基礎(chǔ)的動(dòng)態(tài)規(guī)劃問題,包含了0-1背包,完全背包,多重背包等。 0-1背包 存在容量為 的背包 , 件體積分別為,重量為的物品。求解將哪些物品放入背包使得體積不超出...