1.電商案例原因

分布式大型網(wǎng)站，目前看主要有幾類：

1.大型門戶，比如網(wǎng)易，新浪等；

2.SNS網(wǎng)站，比如校內(nèi)，開心網(wǎng)等；

3.電商網(wǎng)站：比如阿里巴巴，京東商城，國美在線，汽車之家等。大型門戶一般是新聞?lì)愋畔?，可以使用CDN，靜態(tài)化等方式優(yōu)化，開心網(wǎng)等交互性比較多，可能會(huì)引入更多的NOSQL，分布式緩存，使用高性能的通信框架等。

電商網(wǎng)站具備以上兩類的特點(diǎn)，比如產(chǎn)品詳情可以采用CDN，靜態(tài)化，交互性高的需要采用NOSQL等技術(shù)。

因此，我們采用電商網(wǎng)站作為案例，進(jìn)行分析。

2 電商網(wǎng)站需求

客戶需求：

建立一個(gè)全品類的電子商務(wù)網(wǎng)站（B2C），用戶可以在線購買商品，可以在線支付，也可以貨到付款；

（1）用戶購買時(shí)可以在線與客服溝通；

（2）用戶收到商品后，可以給商品打分，評(píng)價(jià)；

（3）目前有成熟的進(jìn)銷存系統(tǒng)；需要與網(wǎng)站對(duì)接；

（4）希望能夠支持3~5年，業(yè)務(wù)的發(fā)展；

（5）預(yù)計(jì)3~5年用戶數(shù)達(dá)到1000萬；

（6）定期舉辦雙11，雙12,三八男人節(jié)等活動(dòng)；

（7）其他的功能參考京東或國美在線等網(wǎng)站。

客戶就是客戶，不會(huì)告訴你具體要什么，只會(huì)告訴你他想要什么，我們很多時(shí)候要引導(dǎo)，挖掘客戶的需求。好在提供了明確的參考網(wǎng)站。因此，下一步要進(jìn)行大量的分析，結(jié)合行業(yè)，以及參考網(wǎng)站，給客戶提供方案。

需求管理傳統(tǒng)的做法，會(huì)使用用例圖或模塊圖（需求列表）進(jìn)行需求的描述。這樣做常常忽視掉一個(gè)很重要的需求（非功能需求），因此推薦大家使用需求功能矩陣，進(jìn)行需求描述。

本電商網(wǎng)站的需求矩陣如下：

以上是對(duì)電商網(wǎng)站需求的簡單舉例，目的是說明（1）需求分析的時(shí)候，要全面，大型分布式系統(tǒng)重點(diǎn)考慮非功能需求；（2）描述一個(gè)簡單的電商需求場景，使大家對(duì)下一步的分析設(shè)計(jì)有個(gè)依據(jù)。

3 網(wǎng)站初級(jí)架構(gòu)

一般網(wǎng)站，剛開始的做法，是三臺(tái)服務(wù)器，一臺(tái)部署應(yīng)用，一臺(tái)部署數(shù)據(jù)庫，一臺(tái)部署NFS文件系統(tǒng)。這是前幾年比較傳統(tǒng)的做法，之前見到一個(gè)網(wǎng)站10萬多會(huì)員，垂直服裝設(shè)計(jì)門戶，N多圖片。使用了一臺(tái)服務(wù)器部署了應(yīng)用，數(shù)據(jù)庫以及圖片存儲(chǔ)。出現(xiàn)了很多性能問題。如下圖：

但是，目前主流的網(wǎng)站架構(gòu)已經(jīng)發(fā)生了翻天覆地的變化。一般都會(huì)采用集群的方式，進(jìn)行高可用設(shè)計(jì)。至少是下面這個(gè)樣子。

（1）使用集群對(duì)應(yīng)用服務(wù)器進(jìn)行冗余，實(shí)現(xiàn)高可用；（負(fù)載均衡設(shè)備可與應(yīng)用一塊部署）

（2）使用數(shù)據(jù)庫主備模式，實(shí)現(xiàn)數(shù)據(jù)備份和高可用；

4 系統(tǒng)容量預(yù)估

預(yù)估步驟：

注冊用戶數(shù)-日均UV量-每日的PV量-每天的并發(fā)量；

峰值預(yù)估：平常量的2~3倍；

根據(jù)并發(fā)量（并發(fā)，事務(wù)數(shù)），存儲(chǔ)容量計(jì)算系統(tǒng)容量；

客戶需求：3~5年用戶數(shù)達(dá)到1000萬注冊用戶；

每秒并發(fā)數(shù)預(yù)估：

每天的UV為200萬（二八原則）；

每日每天點(diǎn)擊瀏覽30次；

PV量：200*30=6000萬；

集中訪問量：240.2=4.8小時(shí)會(huì)有6000萬0.8=4800萬（二八原則）；

每分并發(fā)量：4.8*60=288分鐘，每分鐘訪問4800/288=16.7萬（約等于）；

每秒并發(fā)量：16.7萬/60=2780（約等于）；

假設(shè)：高峰期為平常值的三倍，則每秒的并發(fā)數(shù)可以達(dá)到8340次。

1毫秒=1.3次訪問；

服務(wù)器預(yù)估：（以tomcat服務(wù)器舉例）

按一臺(tái)web服務(wù)器，支持每秒300個(gè)并發(fā)計(jì)算。平常需要10臺(tái)服務(wù)器（約等于）；[tomcat默認(rèn)配置是150]

高峰期：需要30臺(tái)服務(wù)器；

容量預(yù)估：70/90原則

系統(tǒng)CPU一般維持在70%左右的水平，高峰期達(dá)到90%的水平，是不浪費(fèi)資源，并比較穩(wěn)定的。內(nèi)存，IO類似。

以上預(yù)估僅供參考，因?yàn)榉?wù)器配置，業(yè)務(wù)邏輯復(fù)雜度等都有影響。在此CPU，硬盤，網(wǎng)絡(luò)等不再進(jìn)行評(píng)估。

5 網(wǎng)站架構(gòu)分析

根據(jù)以上預(yù)估，有幾個(gè)問題：

需要部署大量的服務(wù)器，高峰期計(jì)算，可能要部署30臺(tái)Web服務(wù)器。并且這三十臺(tái)服務(wù)器，只有秒殺，活動(dòng)時(shí)才會(huì)用到，存在大量的浪費(fèi)。

所有的應(yīng)用部署在同一臺(tái)服務(wù)器，應(yīng)用之間耦合嚴(yán)重。需要進(jìn)行垂直切分和水平切分。

大量應(yīng)用存在冗余代碼。

服務(wù)器SESSION同步耗費(fèi)大量內(nèi)存和網(wǎng)絡(luò)帶寬。

數(shù)據(jù)需要頻繁訪問數(shù)據(jù)庫，數(shù)據(jù)庫訪問壓力巨大。

大型網(wǎng)站一般需要做以下架構(gòu)優(yōu)化（優(yōu)化是架構(gòu)設(shè)計(jì)時(shí)，就要考慮的，一般從架構(gòu)/代碼級(jí)別解決，調(diào)優(yōu)主要是簡單參數(shù)的調(diào)整，比如JVM調(diào)優(yōu)；如果調(diào)優(yōu)涉及大量代碼改造，就不是調(diào)優(yōu)了，屬于重構(gòu)）：

（1）業(yè)務(wù)拆分：主要是根據(jù)業(yè)務(wù)的特點(diǎn)將業(yè)務(wù)拆分成關(guān)鍵業(yè)務(wù)和非關(guān)鍵業(yè)務(wù)。

（2）應(yīng)用集群部署（分布式部署，集群部署和負(fù)載均衡）

（3）多級(jí)緩存（根據(jù)業(yè)務(wù)特點(diǎn)建立不同層級(jí)的緩存）

（4）單點(diǎn)登錄（分布式Session、token）

（5）數(shù)據(jù)庫集群（讀寫分離，分庫分表）

（6）服務(wù)化（SOA+Microservice）

（7）消息隊(duì)列（RabitMQ、ActiveMQ、Kafka）

（8）其他技術(shù)

6 網(wǎng)站架構(gòu)優(yōu)化

6.1 業(yè)務(wù)拆分

根據(jù)業(yè)務(wù)屬性進(jìn)行垂直切分，劃分為產(chǎn)品子系統(tǒng)，購物子系統(tǒng)，支付子系統(tǒng)，評(píng)論子系統(tǒng)，客服子系統(tǒng)，接口子系統(tǒng)（對(duì)接如進(jìn)銷存，短信等外部系統(tǒng)）。

根據(jù)業(yè)務(wù)子系統(tǒng)進(jìn)行等級(jí)定義，可分為核心系統(tǒng)和非核心系統(tǒng)。核心系統(tǒng)：產(chǎn)品子系統(tǒng)，購物子系統(tǒng)，支付子系統(tǒng)；非核心：評(píng)論子系統(tǒng)，客服子系統(tǒng)，接口子系統(tǒng)。

業(yè)務(wù)拆分作用：提升為子系統(tǒng)可由專門的團(tuán)隊(duì)和部門負(fù)責(zé)，專業(yè)的人做專業(yè)的事，解決模塊之間耦合以及擴(kuò)展性問題；每個(gè)子系統(tǒng)單獨(dú)部署，避免集中部署導(dǎo)致一個(gè)應(yīng)用掛了，全部應(yīng)用不可用的問題。

等級(jí)定義作用：用于流量突發(fā)時(shí)，對(duì)關(guān)鍵應(yīng)用進(jìn)行保護(hù)，實(shí)現(xiàn)優(yōu)雅降級(jí)；保護(hù)關(guān)鍵應(yīng)用不受到影響。

拆分后的架構(gòu)圖：

參考部署方案2：

（1）如上圖每個(gè)應(yīng)用單獨(dú)部署；

（2）核心系統(tǒng)和非核心系統(tǒng)組合部署；

6.2 應(yīng)用集群部署（分布式，集群，負(fù)載均衡）

分布式部署：將業(yè)務(wù)拆分后的應(yīng)用單獨(dú)部署，應(yīng)用直接通過RPC進(jìn)行遠(yuǎn)程通信；

集群部署：電商網(wǎng)站的高可用要求，每個(gè)應(yīng)用至少部署兩臺(tái)服務(wù)器進(jìn)行集群部署；

負(fù)載均衡：是高可用系統(tǒng)必須的，一般應(yīng)用通過負(fù)載均衡實(shí)現(xiàn)高可用，分布式服務(wù)通過內(nèi)置的負(fù)載均衡實(shí)現(xiàn)高可用，關(guān)系型數(shù)據(jù)庫通過主備方式實(shí)現(xiàn)高可用。

集群部署后架構(gòu)圖：

6.3 多級(jí)緩存

緩存按照存放的位置一般可分為兩類本地緩存和分布式緩存。本案例采用二級(jí)緩存的方式，進(jìn)行緩存的設(shè)計(jì)。一級(jí)緩存為本地緩存，二級(jí)緩存為分布式緩存。（還有頁面緩存，片段緩存等，那是更細(xì)粒度的劃分）

一級(jí)緩存：緩存數(shù)據(jù)字典，和常用熱點(diǎn)數(shù)據(jù)等基本不可變/有規(guī)則變化的信息。

二級(jí)緩存：緩存需要的所有緩存。當(dāng)一級(jí)緩存過期或不可用時(shí)，訪問二級(jí)緩存的數(shù)據(jù)。如果二級(jí)緩存也沒有，則訪問數(shù)據(jù)庫。

緩存的比例，一般1:4，即可考慮使用緩存。（理論上是1:2即可）。

根據(jù)業(yè)務(wù)特性可使用以下緩存過期策略：

（1）緩存自動(dòng)過期；

（2）緩存觸發(fā)過期；

6.4 單點(diǎn)登錄（分布式Session）

系統(tǒng)分割為多個(gè)子系統(tǒng)，獨(dú)立部署后，不可避免的會(huì)遇到會(huì)話管理的問題。一般可采用Session同步，Cookies，分布式Session方式。電商網(wǎng)站一般采用分布式Session實(shí)現(xiàn)。

再進(jìn)一步可以根據(jù)分布式Session，建立完善的單點(diǎn)登錄或賬戶管理系統(tǒng)。

流程說明：

（1）用戶第一次登錄時(shí)，將會(huì)話信息（用戶Id和用戶信息），比如以用戶Id為Key，寫入分布式Session；

（2）用戶再次登錄時(shí)，獲取分布式Session，是否有會(huì)話信息，如果沒有則調(diào)到登錄頁；

（3）一般采用Cache中間件實(shí)現(xiàn)，建議使用Redis，因此它有持久化功能，方便分布式Session宕機(jī)后，可以從持久化存儲(chǔ)中加載會(huì)話信息；

（4）存入會(huì)話時(shí)，可以設(shè)置會(huì)話保持的時(shí)間，比如15分鐘，超過后自動(dòng)超時(shí)；

結(jié)合Cache中間件，實(shí)現(xiàn)的分布式Session，可以很好的模擬Session會(huì)話。

6.5 數(shù)據(jù)庫集群（讀寫分離，分庫分表）

大型網(wǎng)站需要存儲(chǔ)海量的數(shù)據(jù)，為達(dá)到海量數(shù)據(jù)存儲(chǔ)，高可用，高性能一般采用冗余的方式進(jìn)行系統(tǒng)設(shè)計(jì)。一般有兩種方式讀寫分離和分庫分表。

讀寫分離：一般解決讀比例遠(yuǎn)大于寫比例的場景，可采用一主一備，一主多備或多主多備方式。

本案例在業(yè)務(wù)拆分的基礎(chǔ)上，結(jié)合分庫分表和讀寫分離。如下圖：

（1）業(yè)務(wù)拆分后：每個(gè)子系統(tǒng)需要單獨(dú)的庫；

（2）如果單獨(dú)的庫太大，可以根據(jù)業(yè)務(wù)特性，進(jìn)行再次分庫，比如商品分類庫，產(chǎn)品庫；

（3）分庫后，如果表中有數(shù)據(jù)量很大的，則進(jìn)行分表，一般可以按照Id，時(shí)間等進(jìn)行分表；（高級(jí)的用法是一致性Hash）

（4）在分庫，分表的基礎(chǔ)上，進(jìn)行讀寫分離；

相關(guān)中間件可參考Cobar（阿里，目前已不在維護(hù)），TDDL（阿里），Atlas（奇虎360），MyCat（在Cobar基礎(chǔ)上，國內(nèi)很多牛人，號(hào)稱國內(nèi)第一開源項(xiàng)目）。

分庫分表后序列的問題，JOIN，事務(wù)的問題，會(huì)在分庫分表主題分享中，介紹。

6.6 服務(wù)化

將多個(gè)子系統(tǒng)公用的功能/模塊，進(jìn)行抽取，作為公用服務(wù)使用。比如本案例的會(huì)員子系統(tǒng)就可以抽取為公用的服務(wù)。

6.7 消息隊(duì)列

消息隊(duì)列可以解決子系統(tǒng)/模塊之間的耦合，實(shí)現(xiàn)異步，高可用，高性能的系統(tǒng)。是分布式系統(tǒng)的標(biāo)準(zhǔn)配置。本案例中，消息隊(duì)列主要應(yīng)用在購物，配送環(huán)節(jié)。

（1）用戶下單后，寫入消息隊(duì)列，后直接返回客戶端；

（2）庫存子系統(tǒng)：讀取消息隊(duì)列信息，完成減庫存；

（3）配送子系統(tǒng)：讀取消息隊(duì)列信息，進(jìn)行配送；

目前使用較多的MQ有Active MQ,Rabbit MQ,Zero MQ，MS MQ等，需要根據(jù)具體的業(yè)務(wù)場景進(jìn)行選擇。建議可以研究下Rabbit MQ。

6.8 其他架構(gòu)（技術(shù)）

除了以上介紹的業(yè)務(wù)拆分，應(yīng)用集群，多級(jí)緩存，單點(diǎn)登錄，數(shù)據(jù)庫集群，服務(wù)化，消息隊(duì)列外。還有CDN，反向代理，分布式文件系統(tǒng)，大數(shù)據(jù)處理等系統(tǒng)。

此處不詳細(xì)介紹，大家可以問度娘/Google，有機(jī)會(huì)的話也可以分享給大家。