小文件是如何產(chǎn)生的 動(dòng)態(tài)分區(qū)插入數(shù)據(jù)的時(shí)候，會(huì)產(chǎn)生大量的小文件，從而導(dǎo)致map數(shù)量的暴增 數(shù)據(jù)源本身就包含有大量的小文件 reduce個(gè)數(shù)越多，生成的小文件也越多 小文件的危...
發(fā)簡信
IP屬地：上海
-
Hive如何處理大量小文件
-
50道SQL練習(xí)題及答案與詳細(xì)分析網(wǎng)上流傳較廣的50道SQL訓(xùn)練，奮斗了不知道多久終于寫完了。前18道題的難度依次遞增，從19題開始的后半部分算是循環(huán)練習(xí)和額外function的附加練習(xí)，難度恢復(fù)到普通狀態(tài)。...
-
Pandas選取行，列總結(jié)
pandas 數(shù)據(jù)索引與選取 我們對(duì) DataFrame 進(jìn)行選擇，大抵從這三個(gè)層次考慮：行列、區(qū)域、單元格。其對(duì)應(yīng)使用的方法如下：一. 行，列 --> df[]二. 區(qū)域 ...
-
-
數(shù)據(jù)庫面試題匯總
數(shù)據(jù)庫三范式是什么?第一范式：表中每個(gè)字段都不能再分。第二范式：滿足第一范式并且表中的非主鍵字段都依賴于主鍵字段。第三范式：滿足第二范式并且表中的非主鍵字段必須不傳遞依賴于主...
-
快速排序的遞歸和非遞歸實(shí)現(xiàn)
快速排序的基本思想是:通過一趟排序?qū)⒋庞涗浄指畛瑟?dú)立的兩部分,其中一部分記錄的關(guān)鍵字均比另一部分記錄的關(guān)鍵字小,則可分別對(duì)這兩部分記錄繼續(xù)進(jìn)行排序，已達(dá)到整個(gè) 序列有序....
-
認(rèn)識(shí)HTTP----Cookie和Session篇本文內(nèi)容大多參考《圖解HTTP》一書 1. 使用Cookie來管理狀態(tài) HTTP 是無狀態(tài)協(xié)議，說明它不能以狀態(tài)來區(qū)分和管理請(qǐng)求和響應(yīng)。也就是說，無法根據(jù)之前的狀態(tài)進(jìn)行本次的...
-
白話 Merkle Tree
今天為啥又聊 Merkle Tree 呢？ 我們地球上大部分人應(yīng)該連它的名字都沒有聽過，而且說實(shí)話它也是個(gè)比較傳統(tǒng)的概念了。Merkle Tree 是由計(jì)算機(jī)科學(xué)家 Ralp...
-
簡析TCP的三次握手與四次揮手
簡析TCP的三次握手與四次揮手 TCP是什么？ 具體的關(guān)于TCP是什么，我不打算詳細(xì)的說了；當(dāng)你看到這篇文章時(shí)，我想你也知道TCP的概念了，想要更深入的了解TCP的...
-
排序算法-N個(gè)正整數(shù)排序算法 高德納在《計(jì)算機(jī)程序設(shè)計(jì)藝術(shù)》里對(duì)算法歸納為以下幾點(diǎn)： 輸入: 一個(gè)算法必須有零或以上的輸入量輸出: 一個(gè)算法應(yīng)有一個(gè)或以上的輸出量明確性: 算法的描述必須無歧義,實(shí)際...
-
演示三種跨域的解決方式
JSONP 核心是 CORS 核心是 降域 瀏覽器中不同域的框架也是不能通過js進(jìn)行交互的，但是不同框架之間可以獲取到window對(duì)象，但卻無法獲取到相應(yīng)的屬性和方法。 例如...
-
前端基礎(chǔ)進(jìn)階（五）：閉包初學(xué)JavaScript時(shí)，我在閉包上，走了很多彎路。而這次重新回過頭來對(duì)基礎(chǔ)知識(shí)進(jìn)行梳理，要講清楚閉包，也是一個(gè)非常大的挑戰(zhàn)。 閉包有多重要？如果你是初入前端的朋友，我沒有...
-
BFC | 浮動(dòng) | 折疊浮動(dòng)元素的特征，對(duì)父容器、對(duì)其他浮動(dòng)元素、普通元素、文字的影響。 浮動(dòng)會(huì)使應(yīng)用的元素脫離文檔流。按指定的位置來移動(dòng)位置。當(dāng)遇到其父元素或者相鄰的元素時(shí)即停下。此樣式可用于 塊...
