項(xiàng)目中遇到一次使用MD5的數(shù)據(jù)安全風(fēng)險(xiǎn),發(fā)現(xiàn)很多同學(xué)不明白為什么MD5有泄露用戶信息風(fēng)險(xiǎn),故而分享一下 MD5全稱為 消息摘要算法版本5 （Message Digest Al...
發(fā)簡信
IP屬地：上海
-
Rainbow-Tables -
專注大規(guī)模分布式系統(tǒng)開發(fā)，緊跟人工智能浪潮
-
Raft figure 2一.State ①Persistent state on all server(所有server的持久化的狀態(tài)):(Updated on stable storage bef...
-
本博客所有內(nèi)容均適用知識(shí)共享-署名-相同方式共享（CC-BY-SA）4.0協(xié)議。
-
FLP Impossibility證明過程Consensus共識(shí)的定義： termination終止性: 所有進(jìn)程最終會(huì)在有限步數(shù)中結(jié)束并選取一個(gè)值, 算法不會(huì)無盡執(zhí)行下去. agreement一致性: 所有進(jìn)程必須...
-
這種標(biāo)題黨真惡心
因長得漂亮嫁“國外首富”，丈夫?yàn)椴淮驍_其睡覺，切除自身器官
不管是在娛樂圈還是在現(xiàn)實(shí)生活中，很多的女生都愿嫁給一個(gè)比較有錢的富人，因?yàn)榧藿o他們之后就會(huì)衣食無憂，甚至連工作都可以不做，但是很多人都以為這種愛情是不會(huì)長久的，似乎就像是這些...
-
索引效率與集群因子
本人多年以前的筆記，部分有摘抄，侵刪 為什么有時(shí)候索引掃描比全表掃描更慢？ 假設(shè)一個(gè)表有100w行數(shù)據(jù)，表的段大小為1GB。如果對(duì)表進(jìn)行全表掃描，最理想的情況下，每次I/O都...
-
B+ tree索引本篇以O(shè)racle 11g，具體SQL與執(zhí)行圖解為例詳解B+ tree索引，多年前的學(xué)習(xí)筆記，如有問題歡迎討論。 先上一個(gè)索引結(jié)構(gòu)圖，索引原理就是利用索引快速找到數(shù)據(jù)行的ro...
-
Hive優(yōu)化之多count（distinct）
本篇介紹Hive三種方法，優(yōu)化多count(distinct ) 先上待優(yōu)化代碼： select count(distinct sid) as sid ,count(d...
-
count(1) 與count(*)有性能差別么？
無數(shù)次聽到“不要寫count(*)要寫count(1)，count（*）跑得慢”這種錯(cuò)誤說法。 為什么count（1）與count（*）性能相同呢？因?yàn)閳?zhí)行計(jì)劃相同，性能相同...
-
一招暴力優(yōu)化Hive SQL
快速優(yōu)化中間表過多的Job 分析師/運(yùn)營 不懂技術(shù)如何優(yōu)化Hive sql？技術(shù)文章巴拉巴拉一大堆看不懂怎么辦？某互聯(lián)網(wǎng)資深數(shù)據(jù)開發(fā)寫了一百頁的PPT來科普SQL優(yōu)化效果不佳...
-
Hive優(yōu)化之笛卡爾積優(yōu)化（三） 大表Join大表+數(shù)據(jù)傾斜
本篇講解Hive大表N：N關(guān)聯(lián)的小笛卡爾積+數(shù)據(jù)傾斜的優(yōu)化方法 上一篇SMB Join發(fā)現(xiàn)卡在一個(gè)map，看日志發(fā)現(xiàn)comm_id=102073766數(shù)據(jù)量很大,檢查數(shù)據(jù)分布...
-
Hive優(yōu)化之笛卡爾積優(yōu)化（二） 大表 Join 大表
本篇以實(shí)例介紹如何優(yōu)化Hive大表關(guān)聯(lián)大表 小笛卡爾積如何優(yōu)化 如果是沒有關(guān)聯(lián)條件的大笛卡爾積,是沒法做優(yōu)化的,如果是N:N join的小笛卡爾積,Hive有SMB Join...
-
Hive優(yōu)化之笛卡爾積優(yōu)化（一）
本篇以實(shí)例介紹如何優(yōu)化Hive大表關(guān)聯(lián)小表笛卡爾積如何優(yōu)化 優(yōu)化：1.分析代碼 2.查看數(shù)據(jù) set hive.mapred.mode=nonstrict; create t...
