發(fā)簡(jiǎn)信
IP屬地：山西
-
1 Spark SQL 簡(jiǎn)介1.概述 Spark SQL 是一層依賴Spark Core也就是基礎(chǔ)操作的API封裝出的一層組件. 和GraphX類似, 它的核心思想是解決兩...
-
Spark是如何實(shí)現(xiàn)排序的?Abstract 昨天丟人現(xiàn)眼的寫QuickSort用了40分鐘, 當(dāng)時(shí)感覺整個(gè)人都不好了.(╯°□°）╯︵┻━┻ 看孩子一天睡4小時(shí)大腦不...
-
Zab vs Paxos1. 分布式一致性 分布式一致性大體上意味著, 在多個(gè)分散的機(jī)器上, 如何保證狀態(tài)(key value tuple)是完全一致的. HDFS非常...
-
如何在上億張圖片中找到相同的圖片論文地址 http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.104.2585&r...
-
門衛(wèi)模式 Gatekeeper Pattern
我們?cè)诎⒙?lián)酋的機(jī)房采用了這種設(shè)計(jì)模式, 就像前面Federated Identify中聊到的, 對(duì)于超高價(jià)值數(shù)據(jù). 一般使用專用系統(tǒng)來處理. ...
-
跨域授權(quán) Federated Identity Pattern這個(gè)也可以不用解釋了, 當(dāng)前所有的云服務(wù)都是集中授權(quán), 跨域授權(quán)的OAuth模式.壞處是多次IO的代價(jià), 復(fù)雜的token權(quán)限管理, 以及所有服...
-
配置分離模式 External Configuration Store Pattern
這個(gè)模式就不再概述了, 當(dāng)前絕大部分公司的設(shè)計(jì)思路都是一句話服務(wù)是無狀態(tài)的一個(gè)跑在docker內(nèi)部的服務(wù)最好是無狀態(tài)的, 非常類似于函數(shù)式編程的...
-
操作日志模式 Event Sourcing Pattern利用一個(gè)只能append的數(shù)據(jù)庫(hive這種) 來存儲(chǔ)所有的action, 認(rèn)為這些action是按照時(shí)間序列進(jìn)來的, 并且不會(huì)改變. 通過...
-
命令查詢職責(zé)分離模式 Command and Query Responsibility Segregation (CQRS) Pattern
非常著名的設(shè)計(jì)模式, 把數(shù)據(jù)讀取和數(shù)據(jù)寫入過程相分離, 來拉升整個(gè)系統(tǒng)的性能. 同時(shí)也能避免多線程update時(shí)的沖突 問題 一般我們做數(shù)據(jù)統(tǒng)...