小文件是如何產(chǎn)生的 動(dòng)態(tài)分區(qū)插入數(shù)據(jù)的時(shí)候，會(huì)產(chǎn)生大量的小文件，從而導(dǎo)致map數(shù)量的暴增 數(shù)據(jù)源本身就包含有大量的小文件 reduce個(gè)數(shù)越多，生成的小文件也越多 小文件的危...
發(fā)簡(jiǎn)信
IP屬地：上海
-
Hive如何處理大量小文件
-
50道SQL練習(xí)題及答案與詳細(xì)分析網(wǎng)上流傳較廣的50道SQL訓(xùn)練，奮斗了不知道多久終于寫(xiě)完了。前18道題的難度依次遞增，從19題開(kāi)始的后半部分算是循環(huán)練習(xí)和額外function的附加練習(xí)，難度恢復(fù)到普通狀態(tài)。...
-
Pandas選取行，列總結(jié)
pandas 數(shù)據(jù)索引與選取 我們對(duì) DataFrame 進(jìn)行選擇，大抵從這三個(gè)層次考慮：行列、區(qū)域、單元格。其對(duì)應(yīng)使用的方法如下：一. 行，列 --> df[]二. 區(qū)域 ...
-
-
數(shù)據(jù)庫(kù)面試題匯總
數(shù)據(jù)庫(kù)三范式是什么?第一范式：表中每個(gè)字段都不能再分。第二范式：滿足第一范式并且表中的非主鍵字段都依賴于主鍵字段。第三范式：滿足第二范式并且表中的非主鍵字段必須不傳遞依賴于主...
-
快速排序的遞歸和非遞歸實(shí)現(xiàn)
快速排序的基本思想是:通過(guò)一趟排序?qū)⒋庞涗浄指畛瑟?dú)立的兩部分,其中一部分記錄的關(guān)鍵字均比另一部分記錄的關(guān)鍵字小,則可分別對(duì)這兩部分記錄繼續(xù)進(jìn)行排序，已達(dá)到整個(gè) 序列有序....
-
認(rèn)識(shí)HTTP----Cookie和Session篇本文內(nèi)容大多參考《圖解HTTP》一書(shū) 1. 使用Cookie來(lái)管理狀態(tài) HTTP 是無(wú)狀態(tài)協(xié)議，說(shuō)明它不能以狀態(tài)來(lái)區(qū)分和管理請(qǐng)求和響應(yīng)。也就是說(shuō)，無(wú)法根據(jù)之前的狀態(tài)進(jìn)行本次的...
-
白話 Merkle Tree
今天為啥又聊 Merkle Tree 呢？ 我們地球上大部分人應(yīng)該連它的名字都沒(méi)有聽(tīng)過(guò)，而且說(shuō)實(shí)話它也是個(gè)比較傳統(tǒng)的概念了。Merkle Tree 是由計(jì)算機(jī)科學(xué)家 Ralp...
-
簡(jiǎn)析TCP的三次握手與四次揮手
簡(jiǎn)析TCP的三次握手與四次揮手 TCP是什么？ 具體的關(guān)于TCP是什么，我不打算詳細(xì)的說(shuō)了；當(dāng)你看到這篇文章時(shí)，我想你也知道TCP的概念了，想要更深入的了解TCP的...
