準(zhǔn)備斷更了，感覺好累。雖然賬號注冊的早，但是參加日更還是最近的事。已經(jīng)到了每天晚上10點(diǎn)多還在想今天要寫些什么，實(shí)在沒有什么可寫的，就把之前記錄的一些筆記給搬到簡書上來。 最...
IP屬地：北京
-
準(zhǔn)備斷更了
-
hdfs 文件統(tǒng)計(jì)
hdfs、hive用一段時(shí)間之后，我們會想要知道文件系統(tǒng)里的文件哪些是經(jīng)常被使用的，哪些是長時(shí)間沒有被使用。 如果是用mapreduce或者spark生成的文件，會有文件打小...
-
elasticsearch優(yōu)化思路筆記
來自網(wǎng)上內(nèi)容的總結(jié) 寫入部分 批量寫入優(yōu)于每次寫入1條數(shù)據(jù)。 每批次寫入時(shí)設(shè)置routing為一個(gè)隨機(jī)值，那么這批次數(shù)據(jù)會寫入一個(gè)shard。減少寫入的shard數(shù)量可以減少...
-
電動車一定更環(huán)保嗎？
今天中午午飯后，跟一個(gè)同事閑聊。說到了車的事情，他是一臺蔚來（之前是指南者）。他對電動車就非常推崇，原因是沒有污染。在他的意識里，之前開燃油車的時(shí)候每踩一次油門，都有一種負(fù)罪...
-
YARN知識點(diǎn)總結(jié)如果把大數(shù)據(jù)Hadoop集群當(dāng)作一臺計(jì)算機(jī), 那么 HDFS = 磁盤 YARN = 任務(wù)調(diào)度器+資源管理器 所有任務(wù)都是運(yùn)行在Yarn上 Yarn分為兩個(gè)大的模塊: Res...
-
hive批量檢查 partition是否存在，刪除不存在的 partition
hive表的數(shù)據(jù)有時(shí)會發(fā)生partition還在，但是數(shù)據(jù)已經(jīng)被刪除了的情況。為了找出這些partition，并刪除數(shù)據(jù)已經(jīng)不存在的partition，做了幾個(gè)小的腳本。 先...
-
千萬不要點(diǎn)空贊，會受到懲罰的
俗話說，贈人玫瑰，手留余香。在簡書，給文章點(diǎn)贊，對方有收益的同時(shí)，自己也獲得收益。在我的理解收益是一家一半。當(dāng)然這與你自己手里的鉆，和收益加成卡有絕對關(guān)系。有這些東西你才有權(quán)...
-
筆記：新媒體寫作套路
套路一，圖、文、題、材、表；時(shí)、熱、境、粉、知 1，文章本身的五個(gè)字——圖、文、題、材、表 圖——文章配圖應(yīng)該是高清，無水印，能夠吸引人眼球，與文章匹配度高，能現(xiàn)場景化文章主...
個(gè)人介紹