前言

大家好。

記得很久之前，去面試過字節(jié)跳動。被三面的面試官問了一道場景設(shè)計題目：如何設(shè)計一個高并發(fā)系統(tǒng)。當(dāng)時我回答得比較粗糙，最近回想起來，所以整理了設(shè)計高并發(fā)系統(tǒng)的15個錦囊，相信大家看完會有幫助的。

0f9df9e164a1f195ad355a7b1735a72c.png

如何理解高并發(fā)系統(tǒng)

所謂設(shè)計高并發(fā)系統(tǒng)，就是設(shè)計一個系統(tǒng)，保證它整體可用的同時，能夠處理很高的并發(fā)用戶請求，能夠承受很大的流量沖擊。

我們要設(shè)計高并發(fā)的系統(tǒng)，那就需要處理好一些常見的系統(tǒng)瓶頸問題，如內(nèi)存不足、磁盤空間不足，連接數(shù)不夠，網(wǎng)絡(luò)寬帶不夠等等，以應(yīng)對突發(fā)的流量洪峰。

1. 分而治之，橫向擴展

如果你只部署一個應(yīng)用，只部署一臺服務(wù)器，那能扛住的流量請求是非常有限的。并且，單體的應(yīng)用，有單點的風(fēng)險，如果它掛了，那服務(wù)就不可用了。

因此，設(shè)計一個高并發(fā)系統(tǒng)，我們可以分而治之，橫向擴展。也就是說，采用分布式部署的方式，部署多臺服務(wù)器，把流量分流開，讓每個服務(wù)器都承擔(dān)一部分的并發(fā)和流量，提升整體系統(tǒng)的并發(fā)能力。

2. 微服務(wù)拆分（系統(tǒng)拆分）

要提高系統(tǒng)的吞吐，提高系統(tǒng)的處理并發(fā)請求的能力。除了采用分布式部署的方式外，還可以做微服務(wù)拆分，這樣就可以達到分攤請求流量的目的，提高了并發(fā)能力。

所謂的微服務(wù)拆分，其實就是把一個單體的應(yīng)用，按功能單一性，拆分為多個服務(wù)模塊。比如一個電商系統(tǒng)，拆分為用戶系統(tǒng)、訂單系統(tǒng)、商品系統(tǒng)等等。

5ee38a05542f4595bca93b9c7bf2abc6.png

3. 分庫分表

當(dāng)業(yè)務(wù)量暴增的話，MySQL單機磁盤容量會撐爆。并且，我們知道數(shù)據(jù)庫連接數(shù)是有限的。在高并發(fā)的場景下，大量請求訪問數(shù)據(jù)庫，MySQL單機是扛不住的！高并發(fā)場景下，會出現(xiàn)too many connections報錯。

所以高并發(fā)的系統(tǒng)，需要考慮拆分為多個數(shù)據(jù)庫，來扛住高并發(fā)的毒打。而假如你的單表數(shù)據(jù)量非常大，存儲和查詢的性能就會遇到瓶頸了，如果你做了很多優(yōu)化之后還是無法提升效率的時候，就需要考慮做分表了。一般千萬級別數(shù)據(jù)量，就需要分表，每個表的數(shù)據(jù)量少一點，提升SQL查詢性能。

當(dāng)面試官問要求你設(shè)計一個高并發(fā)系統(tǒng)的時候，一般都要說到分庫分表這個點。

為了應(yīng)對面試官追問分庫分表到底，大家可以順便復(fù)習(xí)一下分庫分表的相關(guān)經(jīng)典面試題哈‘’

4. 池化技術(shù)

在高并發(fā)的場景下，數(shù)據(jù)庫連接數(shù)可能成為瓶頸，因為連接數(shù)是有限的。

我們的請求調(diào)用數(shù)據(jù)庫時，都會先獲取數(shù)據(jù)庫的連接，然后依靠這個連接來查詢數(shù)據(jù)，搞完收工，最后關(guān)閉連接，釋放資源。如果我們不用數(shù)據(jù)庫連接池的話，每次執(zhí)行SQL，都要創(chuàng)建連接和銷毀連接，這就會導(dǎo)致每個查詢請求都變得更慢了，相應(yīng)的，系統(tǒng)處理用戶請求的能力就降低了。

因此，需要使用池化技術(shù)，即數(shù)據(jù)庫連接池、HTTP 連接池、Redis 連接池等等。使用數(shù)據(jù)庫連接池，可以避免每次查詢都新建連接，減少不必要的資源開銷，通過復(fù)用連接池，提高系統(tǒng)處理高并發(fā)請求的能力。

同理，我們使用線程池，也能讓任務(wù)并行處理，更高效地完成任務(wù)。

5. 主從分離

通常來說，一臺單機的MySQL服務(wù)器，可以支持500左右的TPS和10000左右的QPS，即單機支撐的請求訪問是有限的。因此你做了分布式部署，部署了多臺機器，部署了主數(shù)據(jù)庫、從數(shù)據(jù)庫。

但是，如果雙十一搞活動，流量肯定會猛增的。如果所有的查詢請求，都走主庫的話，主庫肯定扛不住，因為查詢請求量是非常非常大的。因此一般都要求做主從分離，然后實時性要求不高的讀請求，都去讀從庫，寫的請求或者實時性要求高的請求，才走主庫。這樣就很好保護了主庫，也提高了系統(tǒng)的吞吐。

當(dāng)然，如果回答了主從分離，面試官可能擴展開問你主從復(fù)制原理，問你主從延遲問題等等，這塊大家需要全方位復(fù)習(xí)好哈。

6. 使用緩存

無論是操作系統(tǒng)，瀏覽器，還是一些復(fù)雜的中間件，你都可以看到緩存的影子。我們使用緩存，主要是提升系統(tǒng)接口的性能，這樣高并發(fā)場景，你的系統(tǒng)就可以支持更多的用戶同時訪問。

常用的緩存包括：Redis緩存，JVM本地緩存，memcached等等。就拿Redis來說，它單機就能輕輕松松應(yīng)對幾萬的并發(fā)，你讀場景的業(yè)務(wù)，可以用緩存來扛高并發(fā)。

緩存雖然用得爽，但是要注意緩存使用的一些問題：

• 緩存與數(shù)據(jù)庫的一致性問題
• 緩存雪崩
• 緩存穿透
• 緩存擊穿

如果大家打算使用Redis的話，需要知道一些注意點。

7. CDN，加速靜態(tài)資源訪問

商品圖片，icon等等靜態(tài)資源，可以對頁面做靜態(tài)化處理，減少訪問服務(wù)端的請求。如果用戶分布在全國各地，有的在上海，有的在深圳，地域相差很遠，網(wǎng)速也各不相同。為了讓用戶最快訪問到頁面，可以使用CDN。CDN可以讓用戶就近獲取所需內(nèi)容。

什么是CDN？

Content Delivery Network/Content Distribution Network,翻譯過來就是內(nèi)容分發(fā)網(wǎng)絡(luò)，它表示將靜態(tài)資源分發(fā)到位于多個地理位置機房的服務(wù)器，可以做到數(shù)據(jù)就近訪問，加速了靜態(tài)資源的訪問速度，因此讓系統(tǒng)更好地處理別的動態(tài)請求。

8. 消息隊列，削鋒

我們搞一些雙十一、雙十二等運營活動時，需要避免流量暴漲，打垮應(yīng)用系統(tǒng)的風(fēng)險。因此一般會引入消息隊列，來應(yīng)對高并發(fā)的場景。

03c15b0eadb947744d54738fa103c85b.png

假設(shè)你的應(yīng)用系統(tǒng)每秒最多可以處理2k個請求，每秒?yún)s有5k的請求過來，可以引入消息隊列，應(yīng)用系統(tǒng)每秒從消息隊列拉2k請求處理得了。

有些伙伴擔(dān)心這樣可能會出現(xiàn)消息積壓的問題：

• 首先，搞一些運營活動，不會每時每刻都那么多請求過來你的系統(tǒng)（除非有人惡意攻擊），高峰期過去后，積壓的請求可以慢慢處理；
• 其次，如果消息隊列長度超過最大數(shù)量，可以直接拋棄用戶請求或跳轉(zhuǎn)到錯誤頁面；

9. ElasticSearch

Elasticsearch，大家都使用得比較多了吧，一般搜索功能都會用到它。它是一個分布式、高擴展、高實時的搜索與數(shù)據(jù)分析引擎，簡稱為ES。

我們在聊高并發(fā)，為啥聊到ES呢？因為ES可以擴容方便，天然支撐高并發(fā)。當(dāng)數(shù)據(jù)量大的時候，不用動不動就加機器擴容，分庫等等，可以考慮用ES來支持簡單的查詢搜索、統(tǒng)計類的操作。

10. 降級熔斷

熔斷降級是保護系統(tǒng)的一種手段。當(dāng)前互聯(lián)網(wǎng)系統(tǒng)一般都是分布式部署的。而分布式系統(tǒng)中偶爾會出現(xiàn)某個基礎(chǔ)服務(wù)不可用，最終導(dǎo)致整個系統(tǒng)不可用的情況, 這種現(xiàn)象被稱為服務(wù)雪崩效應(yīng)。

比如分布式調(diào)用鏈路A->B->C....，下圖所示：

c9899c21a830060afbb7f5d692f4a462.png

如果服務(wù)C出現(xiàn)問題，比如是因為慢SQL導(dǎo)致調(diào)用緩慢，那將導(dǎo)致B也會延遲，從而A也會延遲。堵住的A請求會消耗占用系統(tǒng)的線程、IO、CPU等資源。當(dāng)請求A的服務(wù)越來越多，占用計算機的資源也越來越多，最終會導(dǎo)致系統(tǒng)瓶頸出現(xiàn)，造成其他的請求同樣不可用，最后導(dǎo)致業(yè)務(wù)系統(tǒng)崩潰。

為了應(yīng)對服務(wù)雪崩, 常見的做法是熔斷和降級。最簡單是加開關(guān)控制，當(dāng)下游系統(tǒng)出問題時，開關(guān)打開降級，不再調(diào)用下游系統(tǒng)。還可以選用開源組件Hystrix來支持。

你要保證設(shè)計的系統(tǒng)能應(yīng)對高并發(fā)場景，那肯定要考慮熔斷降級邏輯進來。

11. 限流

限流也是我們應(yīng)對高并發(fā)的一種方案。我們當(dāng)然希望，在高并發(fā)大流量過來時，系統(tǒng)能全部請求都正常處理。但是有時候沒辦法，系統(tǒng)的CPU、網(wǎng)絡(luò)帶寬、內(nèi)存、線程等資源都是有限的。因此，我們要考慮限流。

如果你的系統(tǒng)每秒扛住的請求是一千，如果一秒鐘來了十萬請求呢？換個角度就是說，高并發(fā)的時候，流量洪峰來了，超過系統(tǒng)的承載能力，怎么辦呢？

這時候，我們可以采取限流方案。就是為了保護系統(tǒng)，多余的請求，直接丟棄。

什么是限流：在計算機網(wǎng)絡(luò)中，限流就是控制網(wǎng)絡(luò)接口發(fā)送或接收請求的速率，它可防止DoS攻擊和限制Web爬蟲。限流，也稱流量控制。是指系統(tǒng)在面臨高并發(fā)，或者大流量請求的情況下，限制新的請求對系統(tǒng)的訪問，從而保證系統(tǒng)的穩(wěn)定性。

可以使用Guava的RateLimiter單機版限流，也可以使用Redis分布式限流，還可以使用阿里開源組件sentinel限流。

面試的時候，你說到限流這塊的話？面試官很大概率會問你限流的算法，因此，大家在準(zhǔn)備面試的時候，需要復(fù)習(xí)一下這幾種經(jīng)典的限流算法哈，

12. 異步

回憶一下什么是同步，什么是異步呢？以方法調(diào)用為例，它代表調(diào)用方要阻塞等待被調(diào)用方法中的邏輯執(zhí)行完成。這種方式下，當(dāng)被調(diào)用方法響應(yīng)時間較長時，會造成調(diào)用方長久的阻塞，在高并發(fā)下會造成整體系統(tǒng)性能下降甚至發(fā)生雪崩。異步調(diào)用恰恰相反，調(diào)用方不需要等待方法邏輯執(zhí)行完成就可以返回執(zhí)行其他的邏輯，在被調(diào)用方法執(zhí)行完畢后再通過回調(diào)、事件通知等方式將結(jié)果反饋給調(diào)用方。

因此，設(shè)計一個高并發(fā)的系統(tǒng)，需要在恰當(dāng)?shù)膱鼍笆褂卯惒?/strong>。如何使用異步呢？后端可以借用消息隊列實現(xiàn)。比如在海量秒殺請求過來時，先放到消息隊列中，快速響應(yīng)用戶，告訴用戶請求正在處理中，這樣就可以釋放資源來處理更多的請求。秒殺請求處理完后，通知用戶秒殺搶購成功或者失敗。