什么是小文件？ 生產(chǎn)上，我們往往將Spark SQL作為Hive的替代方案，來(lái)獲得SQL on Hadoop更出色的性能。因此，本文所講的是指存儲(chǔ)于HDFS中小文件，即指文件...
發(fā)簡(jiǎn)信
IP屬地：吉林
-
如何避免Spark SQL做數(shù)據(jù)導(dǎo)入時(shí)產(chǎn)生大量小文件 -
層次分析法在決策中的運(yùn)用層次分析法（AHP）是一種比較實(shí)用的決策方法。在實(shí)際情況中我們可能需要考慮問(wèn)題所涉及的多個(gè)因素，這導(dǎo)致我們很難做出清晰的判斷。AHP幫助我們結(jié)構(gòu)化和量化的來(lái)思考這些因素，做出...
-
從面試官的角度談?wù)劥髷?shù)據(jù)面試
關(guān)于傳授面試經(jīng)驗(yàn)的文章太多了，眼花繚亂，我這里就不談了，點(diǎn)進(jìn)來(lái)想獲取幾噸面試學(xué)習(xí)資料的同學(xué)，抱歉讓你失望了。（我是真的找不到那么多資料...）。所以，今天我們只聊面試官。 作...
-
解決sbt慢的問(wèn)題（OSX）
sbt真是慢出翔啊，沒(méi)法忍，開(kāi)代理也是慢的一比，網(wǎng)上各種教程也尼瑪不太行，搞了一晚上，記錄下來(lái)。 Terminal 就按照我說(shuō)的來(lái)別問(wèn)為什么，我也不知道。 在~/.sbt下面...
-
Linux下iptables防火墻配置詳解
目錄 iptables命令及參數(shù)介紹 配置Filter表防火墻 配置NAT表防火墻 1. iptables命令及參數(shù)介紹 iptables常用命令： iptables -A ...
-
G1垃圾收集器介紹占小狼 轉(zhuǎn)載請(qǐng)注明原創(chuàng)出處，謝謝！ 為解決CMS算法產(chǎn)生空間碎片和其它一系列的問(wèn)題缺陷，HotSpot提供了另外一種垃圾回收策略，G1（Garbage First）算法，通過(guò)...
-
IP、子網(wǎng)掩碼、缺省網(wǎng)關(guān)/默認(rèn)網(wǎng)關(guān)、DNS、服務(wù)器、端口的總結(jié)網(wǎng)絡(luò)的基本概念 客戶端:應(yīng)用 C/S（客戶端/服務(wù)器） B/S（瀏覽器/服務(wù)器） 服務(wù)器：為客戶端提供服務(wù)、數(shù)據(jù)、資源的機(jī)器 請(qǐng)求：客戶端向服務(wù)器索取數(shù)據(jù) 響應(yīng)：服務(wù)器對(duì)客...
