在互聯(lián)網(wǎng)江湖中，始終流傳著三大賺錢(qián)法寶：廣告、游戲、電商。三杰之中，又以大哥廣告的歷史最為悠久，地位也最為不可撼動(dòng)。君不見(jiàn)很多電商和游戲公司，也通過(guò)廣告業(yè)務(wù)賺的盆滿缽滿。其發(fā)跡于Y公司，被G公司發(fā)揚(yáng)光大，又在F公司階段性地完成了其歷史使命。F公司，在移動(dòng)互聯(lián)網(wǎng)興起之際，利用其得天獨(dú)厚的數(shù)據(jù)優(yōu)勢(shì)，終于能夠回答困擾了廣告主幾百年的問(wèn)題：我的廣告究竟被誰(shuí)看到了？浪費(fèi)的一半的錢(qián)到底去了哪里？
從用戶角度來(lái)看，廣告其實(shí)是充斥著互聯(lián)網(wǎng)的每個(gè)角落，但正如習(xí)慣成自然一樣，對(duì)于越常見(jiàn)的事物，越少有人究其根本。對(duì)于互聯(lián)網(wǎng)技術(shù)人員來(lái)說(shuō)，由于廣告業(yè)務(wù)具有高度的壟斷性，能夠接觸到其本質(zhì)的工程師相對(duì)較少，尤其有過(guò)大型系統(tǒng)經(jīng)驗(yàn)的人更加稀缺。本文的目的在于對(duì)大型廣告系統(tǒng)的整體架構(gòu)和其中的設(shè)計(jì)權(quán)衡點(diǎn)有一個(gè)全面的介紹，為有志從事該行業(yè)的工程師提供一套思考的思路。
另外有幾點(diǎn)說(shuō)明。第一，廣告系統(tǒng)一般分為搜索廣告和上下文廣告，由于上下文廣告系統(tǒng)面臨的問(wèn)題要比搜索廣告系統(tǒng)更加豐富，因此本文專注于討論上下文廣告系統(tǒng)。第二，本文適合對(duì)廣告業(yè)務(wù)有一定了解的工程師，對(duì)于業(yè)務(wù)不了解的同學(xué)，推薦閱讀劉鵬博士的<<計(jì)算廣告>>。
俗話說(shuō)，離開(kāi)業(yè)務(wù)談架構(gòu)都是耍流氓。用一句標(biāo)準(zhǔn)的報(bào)告性語(yǔ)言介紹大型廣告系統(tǒng)的特點(diǎn)就是：處理的數(shù)據(jù)量特別巨大，響應(yīng)速度要求特別快，數(shù)據(jù)實(shí)時(shí)性要求特別高，系統(tǒng)可用性要求特別高。面對(duì)種種不可思議的困難，最初的一批誤打誤撞進(jìn)入廣告行業(yè)的的互聯(lián)網(wǎng)工程師們，本著賺錢(qián)的目的，通過(guò)演雜技一般的對(duì)各種技術(shù)的拼接，出色地完成了任務(wù)。下面逐條分析一下系統(tǒng)特點(diǎn)。
一、數(shù)據(jù)量特別巨大
在上下文廣告中，系統(tǒng)中一般主要包含四種數(shù)據(jù)（廣告系統(tǒng)所有問(wèn)題的討論一般都圍繞這四種數(shù)據(jù)展開(kāi)）
- 廣告本身的數(shù)據(jù)
一般包括名字、出價(jià)、投放時(shí)間、有效性（預(yù)算）、標(biāo)題、描述、跳轉(zhuǎn)鏈接、圖片、視頻等。這里的數(shù)據(jù)量一般不會(huì)特別巨大。幾十萬(wàn)的廣告主，已經(jīng)足以支撐起業(yè)內(nèi)頂尖的廣告公司，廣告的數(shù)量會(huì)比廣告主的數(shù)量大2個(gè)數(shù)量級(jí)左右。
- 廣告的定向數(shù)據(jù)
其數(shù)據(jù)量和系統(tǒng)提供的定向維度有關(guān)。例如用戶的搜索記錄定向，網(wǎng)頁(yè)分詞定向，購(gòu)買(mǎi)的商品記錄定向，APP安裝列表定向，用戶人群定向等。其中每一種定向維度中，廣告主都可以設(shè)置大量的定向數(shù)據(jù)。例如搜索記錄定向中，廣告+關(guān)鍵詞的組合個(gè)數(shù)甚至?xí)^(guò)int最大值，如果在內(nèi)存中高效地組織這些數(shù)據(jù)，是一個(gè)挑戰(zhàn)。
插一條案例。在團(tuán)購(gòu)大戰(zhàn)時(shí)代，某美國(guó)團(tuán)購(gòu)鼻祖高調(diào)殺入中國(guó)，曾經(jīng)創(chuàng)下過(guò)購(gòu)買(mǎi)百萬(wàn)級(jí)關(guān)鍵詞的記錄，當(dāng)然最后被中國(guó)的資本市場(chǎng)實(shí)實(shí)在在地教訓(xùn)了一把，結(jié)果大家都知道。類似的不理智行為還曾發(fā)生在視頻大戰(zhàn)、電商大戰(zhàn)、分類信息網(wǎng)站大戰(zhàn)，最終要么合并，要么抱大腿，唯留得廣告公司內(nèi)心竊喜，期待下一場(chǎng)大戰(zhàn)爆發(fā)。
- 用戶的特征數(shù)據(jù)
其數(shù)據(jù)量和面向的市場(chǎng)有關(guān)。如果面向的是中國(guó)市場(chǎng)，那么就要做好處理世界上最復(fù)雜問(wèn)題的準(zhǔn)備（下一個(gè)這樣體量的市場(chǎng)是印度）。君不見(jiàn)各家PR稿，沒(méi)有3億用戶都不好意思出來(lái)打招呼，且不說(shuō)數(shù)據(jù)量是真是假以及是否有用，起碼這表明了大家都認(rèn)可“用戶數(shù)量是衡量廣告系統(tǒng)優(yōu)劣的一大標(biāo)準(zhǔn)”。進(jìn)一步說(shuō)，特征數(shù)據(jù)是根據(jù)用戶的行為數(shù)據(jù)計(jì)算出來(lái)的（例如瀏覽過(guò)哪些頁(yè)面，購(gòu)買(mǎi)過(guò)什么物品）。數(shù)億的用戶，一般都會(huì)用歷史一段時(shí)間的行為數(shù)據(jù)和當(dāng)天的行為數(shù)據(jù)，計(jì)算出用戶的歷史特征和實(shí)時(shí)特征。注意，用戶的行為數(shù)據(jù)包括用戶在廣告系統(tǒng)內(nèi)部和外部?jī)煞N行為數(shù)據(jù)。用戶在廣告系統(tǒng)內(nèi)部的行為數(shù)據(jù)包括用戶看到廣告的展示、點(diǎn)擊廣告、以及發(fā)生轉(zhuǎn)化行為（CPA結(jié)算方式）等。用戶在廣告系統(tǒng)外部的行為數(shù)據(jù)包括網(wǎng)頁(yè)瀏覽記錄、交易記錄、APP使用記錄等。總體數(shù)據(jù)量是TB級(jí)別，而且也涉及到大量的計(jì)算，如何高效地計(jì)算和存儲(chǔ)這些數(shù)據(jù)，并且保證高效的查詢，是用戶數(shù)據(jù)處理的核心問(wèn)題。當(dāng)然，用戶數(shù)據(jù)是需要實(shí)時(shí)更新的，如果保證實(shí)時(shí)性在下文中討論。
- 廣告展示環(huán)境的特征數(shù)據(jù)
展示環(huán)境一般分為網(wǎng)頁(yè)和APP。處理方法和用戶特征數(shù)據(jù)類似，區(qū)別在于量級(jí)更加大，涉及的運(yùn)算更加多。試想，將中國(guó)所有（重要的）網(wǎng)站的頁(yè)面爬取下來(lái)并分詞，再?gòu)钠渲刑崛〕鲰?yè)面的特征信息，需要處理的數(shù)據(jù)量級(jí)有多少。同時(shí)，頁(yè)面可能會(huì)經(jīng)常變化，因此這項(xiàng)工作需要定期重做。這里存在著投入和產(chǎn)出的衡量，例如訪問(wèn)量很小的網(wǎng)站就沒(méi)必要抓??；小說(shuō)類網(wǎng)站頁(yè)面量巨大，但對(duì)廣告投放的指導(dǎo)性很差，也可以不抓?。坏怪鳖惥W(wǎng)站一般都包含了明確的定向信息，是處理的重點(diǎn)。
一般來(lái)說(shuō)，用戶特征和廣告展示環(huán)境特征的數(shù)據(jù)會(huì)存儲(chǔ)在獨(dú)立的分布式集群中。數(shù)據(jù)存儲(chǔ)在內(nèi)存和磁盤(pán)兩級(jí)，內(nèi)存中存放熱點(diǎn)數(shù)據(jù)，磁盤(pán)中存放全量數(shù)據(jù)。同時(shí)，內(nèi)存中的數(shù)據(jù)包括歷史數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)兩部分，實(shí)時(shí)數(shù)據(jù)流會(huì)更新實(shí)時(shí)數(shù)據(jù)，在查詢的時(shí)候，集群負(fù)責(zé)同時(shí)查歷史和實(shí)時(shí)兩份數(shù)據(jù)，合并后將結(jié)果返回。
廣告數(shù)據(jù)和廣告的定向數(shù)據(jù)一般存儲(chǔ)在檢索服務(wù)內(nèi)部，在初期都是全內(nèi)存的數(shù)據(jù)結(jié)構(gòu)。當(dāng)數(shù)據(jù)逐漸增長(zhǎng)，超出單機(jī)內(nèi)存存儲(chǔ)極限之后，可以先進(jìn)行水平拆分，即多個(gè)檢索服務(wù)器組成一個(gè)分組，一個(gè)分組維護(hù)全庫(kù)數(shù)據(jù)，在查詢時(shí)同時(shí)查詢一個(gè)分組內(nèi)的每臺(tái)機(jī)器，由上游機(jī)器對(duì)結(jié)果做合并。再進(jìn)一步，因?yàn)椴⒉皇撬袛?shù)據(jù)都可以進(jìn)行拆分，數(shù)據(jù)仍然可能超出單機(jī)存儲(chǔ)極限，這時(shí)可以采用內(nèi)存-磁盤(pán)兩級(jí)存儲(chǔ)的結(jié)構(gòu)，也可以拆分出單獨(dú)的服務(wù)。由于廣告系統(tǒng)一般都存在熱點(diǎn)數(shù)據(jù)，因此內(nèi)存-磁盤(pán)兩級(jí)存儲(chǔ)是優(yōu)先的考慮方案。同時(shí)，仔細(xì)地設(shè)計(jì)內(nèi)存中的數(shù)據(jù)結(jié)構(gòu)，高效地建立索引，能帶來(lái)巨大的收益。
一般系統(tǒng)使用的存儲(chǔ)結(jié)構(gòu)是B+樹(shù)，如果使用不當(dāng)會(huì)造成內(nèi)存的巨大浪費(fèi)，在后續(xù)的文章中會(huì)有專門(mén)的篇幅討論這個(gè)問(wèn)題
二、響應(yīng)速度要求特別快
這一點(diǎn)毋庸置疑，廣告對(duì)于網(wǎng)站或者APP是附加功能，只能比內(nèi)容更快地展現(xiàn)給用戶。同時(shí)，一些特定的廣告形式對(duì)用戶有跳出感，例如開(kāi)屏、插屏廣告，對(duì)響應(yīng)時(shí)間要求更加短。另外，在RTB系統(tǒng)中，由于exchange的存在，增加了一次網(wǎng)絡(luò)請(qǐng)求，DSP系統(tǒng)的響應(yīng)時(shí)間就要更加短。一般來(lái)說(shuō)，一次對(duì)廣告系統(tǒng)的請(qǐng)求必須在100ms以內(nèi)完成。其中60%-70%的時(shí)間消耗在網(wǎng)絡(luò)中，另外的部分是主要消耗在核心檢索模塊中。
網(wǎng)絡(luò)包括媒體和廣告系統(tǒng)之間的網(wǎng)絡(luò)，和廣告系統(tǒng)各模塊之間的網(wǎng)絡(luò)交互。在設(shè)計(jì)架構(gòu)時(shí)，既要保持系統(tǒng)一定的可擴(kuò)展性和可伸縮性，也要考慮盡可能地減少內(nèi)部網(wǎng)絡(luò)請(qǐng)求次數(shù)。同時(shí)，在設(shè)計(jì)和選擇RPC框架時(shí)，要充分考慮QPS，latency，請(qǐng)求長(zhǎng)度三個(gè)因素。
核心檢索模塊中，一次請(qǐng)求會(huì)觸發(fā)多個(gè)定向策略同時(shí)檢索，因此索引數(shù)據(jù)設(shè)計(jì)的是否高效是決定檢索性性能的核心要素。因?yàn)榇罅康牟樵儾僮鳎珻PU往往會(huì)成為檢索系統(tǒng)的瓶頸，所以很多檢索模塊的QPS并不高。在實(shí)戰(zhàn)中，對(duì)索引的使用不當(dāng)也會(huì)造成性能的下降，因此需要工程能力比較強(qiáng)的人做 code review 把關(guān)。
三、實(shí)時(shí)性要求特別高
實(shí)時(shí)性是指數(shù)據(jù)更新的實(shí)時(shí)性。下面逐條討論。
- 廣告數(shù)據(jù)的實(shí)時(shí)性
這里最頻繁變化的是廣告有效性和出價(jià)。例如，廣告必須在廣告主指定的時(shí)間段內(nèi)投放，時(shí)間變化時(shí)，必須及時(shí)上下線。廣告主出價(jià)發(fā)生變化時(shí)，必須立即反饋到系統(tǒng)中。廣告預(yù)算消費(fèi)完畢后，必須立即將廣告下線。
以CPC系統(tǒng)為例，曾經(jīng)有很長(zhǎng)一段時(shí)間，很多廣告主利用廣告系統(tǒng)計(jì)費(fèi)的延遲性騙取大量的點(diǎn)擊。例如，給廣告設(shè)定一個(gè)很小的預(yù)算（可能只夠一次點(diǎn)擊），實(shí)際產(chǎn)生點(diǎn)擊和檢索系統(tǒng)接收到計(jì)費(fèi)數(shù)據(jù)之間，可能會(huì)有分鐘級(jí)的延遲，這期間發(fā)生的其他點(diǎn)擊，產(chǎn)生的費(fèi)用廣告主就無(wú)需支付。
- 廣告定向數(shù)據(jù)的實(shí)時(shí)性
與廣告數(shù)據(jù)類似，不展開(kāi)討論。
- 用戶特征數(shù)據(jù)的實(shí)時(shí)性
用戶特征數(shù)據(jù)往往是根據(jù)用戶的歷史行為計(jì)算出的一些興趣點(diǎn)數(shù)據(jù)，在起初對(duì)實(shí)時(shí)性的要求并不是很高，主要是因?yàn)橛脩舻呐d趣點(diǎn)形成往往是一個(gè)長(zhǎng)期過(guò)程，并且變化很平緩。例如，喜歡足球的用戶可能每天都會(huì)看一下體育新聞的足球頁(yè)面，餐飲、母嬰、裝修、軍事等垂直領(lǐng)域的用戶，也會(huì)長(zhǎng)期關(guān)注相關(guān)網(wǎng)站。然而隨著電商的興起，以及移動(dòng)互聯(lián)網(wǎng)將時(shí)間更加碎片化，用戶的興趣點(diǎn)轉(zhuǎn)移變得非?？臁＠?，某用戶最近對(duì)相機(jī)比較感興趣，在某電商網(wǎng)站瀏覽了10分鐘相機(jī)產(chǎn)品后離開(kāi)，打開(kāi)門(mén)戶網(wǎng)站開(kāi)始瀏覽新聞，這時(shí)如果出現(xiàn)了相機(jī)廣告，將很可能引起轉(zhuǎn)化，這其實(shí)是電商類廣告最有效的定向方式——retargeting。當(dāng)然，這只是為了說(shuō)明實(shí)時(shí)性的重要程度而舉的一個(gè)非常粗淺的例子，其中有很多細(xì)節(jié)有待考量。例如用戶如果發(fā)生了購(gòu)買(mǎi)行為之后，顯然不應(yīng)該再推送相機(jī)廣告。有些快消類產(chǎn)品，重復(fù)購(gòu)買(mǎi)率高，可以定期給用戶推薦，但類似相機(jī)、汽車(chē)、房產(chǎn)等大宗商品，在用戶發(fā)生購(gòu)買(mǎi)后，顯然不應(yīng)該再繼續(xù)投放，而應(yīng)該投放與此相關(guān)的其他廣告。在策略處理上，對(duì)不同類型的興趣點(diǎn)的時(shí)效性應(yīng)該區(qū)別對(duì)待。
另外，在RTB系統(tǒng)中，這一點(diǎn)尤為重要。試想相機(jī)的例子，當(dāng)用戶已經(jīng)發(fā)生購(gòu)買(mǎi)之后，DSP如果沒(méi)有識(shí)別出該行為，認(rèn)為用戶仍然具有該興趣點(diǎn)，繼續(xù)出高價(jià)購(gòu)買(mǎi)流量，顯然是收益極低甚至可能虧損的。
- 廣告展示環(huán)境的特征數(shù)據(jù)的實(shí)時(shí)性
網(wǎng)頁(yè)和APP的內(nèi)容一般不經(jīng)常發(fā)生變化，抓取一次可以在很長(zhǎng)一段時(shí)間內(nèi)是有效的。比較特殊的是新頁(yè)面，尤其是內(nèi)容類網(wǎng)站（例如旅游攻略，實(shí)時(shí)新聞），每天會(huì)產(chǎn)生大量的新頁(yè)面，如果不能及時(shí)抓取，在廣告投放過(guò)程中就無(wú)法利用廣告展示環(huán)境的數(shù)據(jù)。尤其在移動(dòng)端，用戶的場(chǎng)景化更加強(qiáng)烈，在未來(lái)場(chǎng)景定向的重要程度很可能會(huì)超過(guò)用戶定向。在傳統(tǒng)的PC廣告系統(tǒng)中，一般是將網(wǎng)站分級(jí)，優(yōu)先級(jí)越高的網(wǎng)站爬去的頻率越高，甚至是API對(duì)接。在移動(dòng)端，有一種方案是在請(qǐng)求中帶入網(wǎng)頁(yè)的重要特征，例如標(biāo)題、重要關(guān)鍵詞等，這需要媒體的支持，廣泛使用還有待時(shí)日。另外，實(shí)戰(zhàn)中還往往采用 near line 的設(shè)計(jì)模型，即當(dāng)發(fā)現(xiàn)請(qǐng)求中出現(xiàn)了新的頁(yè)面，實(shí)時(shí)通知爬蟲(chóng)立即爬去并分析，在處理后續(xù)的請(qǐng)求中使用。
用戶特征數(shù)據(jù)和網(wǎng)頁(yè)/APP的特征數(shù)據(jù)往往數(shù)據(jù)量巨大，為了能夠高效地利用內(nèi)存，存儲(chǔ)這些數(shù)據(jù)的緩存集群往往使用了只能提供讀取功能的數(shù)據(jù)結(jié)構(gòu)。因此，一般是將歷史的特征和實(shí)時(shí)的特征分開(kāi)存儲(chǔ)在不同的數(shù)據(jù)結(jié)構(gòu)中，實(shí)時(shí)的特征可以隨時(shí)更新，只存儲(chǔ)當(dāng)天數(shù)據(jù)，在查詢時(shí)，同時(shí)查詢兩個(gè)數(shù)據(jù)結(jié)構(gòu)，將結(jié)果合并后返回。
四、系統(tǒng)可用性要求特別高
這一點(diǎn)比較容易理解，分分鐘都是錢(qián)，所以廣告系統(tǒng)一般都有大量的熱備冗余機(jī)器，部署在多地多個(gè)機(jī)房。除了常見(jiàn)的分布式系統(tǒng)高可用方案之外，廣告系統(tǒng)還有如下兩個(gè)重要的方案。
- 自動(dòng)降級(jí)
由于上文討論的實(shí)時(shí)性問(wèn)題，廣告系統(tǒng)很難像傳統(tǒng)用戶類網(wǎng)站一樣，提供一些靜態(tài)的只讀內(nèi)容，以備在集群全體宕機(jī)的時(shí)候使用。但在系統(tǒng)內(nèi)部設(shè)計(jì)中，可以做到模塊級(jí)別的容災(zāi)，系統(tǒng)化點(diǎn)的稱為叫自動(dòng)降級(jí)。即當(dāng)某些模塊出現(xiàn)問(wèn)題的時(shí)候，或者系統(tǒng)資源不夠用的時(shí)候，系統(tǒng)能夠自動(dòng)地移除出問(wèn)題的模塊，或者非核心模塊，保證基本功能可用。比較典型的例子是，如果某一種策略的計(jì)算邏輯出現(xiàn)問(wèn)題，或者CTR預(yù)估集群整體宕機(jī)，系統(tǒng)還能夠正常返回廣告，只是收益不如原來(lái)高。當(dāng)然，自動(dòng)降級(jí)只是一種防御手段，當(dāng)發(fā)生這種情況的時(shí)候，應(yīng)該視為線上集群整體宕機(jī)同等嚴(yán)重的事故，必須第一時(shí)間處理。例外的情況是自動(dòng)降級(jí)是人為預(yù)期的，例如有些業(yè)務(wù)激增場(chǎng)景一年只發(fā)生一次，公司不可能為此常年準(zhǔn)備大量機(jī)器，此時(shí)也可以用自動(dòng)降級(jí)的手段保證業(yè)務(wù)基本可用。
- 減少啟動(dòng)時(shí)間
前文提到，大型廣告系統(tǒng)使用的數(shù)據(jù)量甚至?xí)^(guò)單機(jī)內(nèi)存極限，這時(shí)系統(tǒng)的啟動(dòng)時(shí)間會(huì)非?？捎^。例如筆者曾經(jīng)開(kāi)發(fā)過(guò)的廣告系統(tǒng)，即使進(jìn)行了水平拆庫(kù)，單機(jī)使用內(nèi)存仍然達(dá)到50G以上，啟動(dòng)時(shí)間在30分鐘左右，經(jīng)過(guò)后續(xù)的優(yōu)化減少到15分鐘。減少啟動(dòng)時(shí)間，主要好處有兩個(gè)：減少運(yùn)維成本，減少容災(zāi)成本。
減少運(yùn)維成本。和其他互聯(lián)網(wǎng)系統(tǒng)一樣，廣告系統(tǒng)也會(huì)采用快速迭代的上線方案。有幾千臺(tái)服務(wù)器的廣告系統(tǒng)，可能會(huì)一周多次上線。上線時(shí)，為了使服務(wù)仍然可用，會(huì)分批操作，例如一次只操作5%的機(jī)器。這對(duì)運(yùn)維人員是非常痛苦的一個(gè)過(guò)程。例如1000臺(tái)機(jī)器，每次操作5%，每臺(tái)機(jī)器啟動(dòng)時(shí)間在30分鐘，整體上線流程將達(dá)到10小時(shí)，這樣的事情每周發(fā)生幾次，顯然是無(wú)法接受的。當(dāng)然，可以選擇流量低谷的時(shí)間段上線，增加每次操作的機(jī)器數(shù)量，這樣又引入了運(yùn)維成本。因此減少系統(tǒng)啟動(dòng)時(shí)間意義重大。
減少容災(zāi)成本。很長(zhǎng)的啟動(dòng)時(shí)間，會(huì)使系統(tǒng)在請(qǐng)求量激增的情況下無(wú)法及時(shí)使用冷備機(jī)器擴(kuò)容，而增加很多熱備機(jī)器，第一會(huì)增加成本，第二實(shí)際情況還是可能會(huì)超出預(yù)留。而且，當(dāng)熱備機(jī)器也難以處理所有請(qǐng)求時(shí)，很可能會(huì)導(dǎo)致剛剛啟動(dòng)完畢的機(jī)器也被打滿而無(wú)法正常提供服務(wù)，觸發(fā)雪崩效應(yīng)。此時(shí)，必須切斷所有服務(wù)，重啟集群，等所有服務(wù)都重啟并檢驗(yàn)數(shù)據(jù)完畢后，才能開(kāi)始對(duì)外提供服務(wù)。一般來(lái)說(shuō)，當(dāng)我們聽(tīng)說(shuō)一些大型網(wǎng)站發(fā)生整體宕機(jī)，若干小時(shí)后才恢復(fù)，很可能都是發(fā)生了雪崩事故。
據(jù)說(shuō)，歷史上某E字輩美國(guó)購(gòu)物網(wǎng)站曾經(jīng)發(fā)生過(guò)一次這樣的案例，導(dǎo)致整體服務(wù)宕機(jī)8小時(shí)。近兩年Amazon的公開(kāi)的幾次事故恢復(fù)時(shí)間也都在小時(shí)甚至天級(jí)別，都和復(fù)雜的啟動(dòng)流程有關(guān)。
作為大型廣告系統(tǒng)架構(gòu)的開(kāi)篇，本文主要闡述了大型廣告系統(tǒng)面臨的核心問(wèn)題的業(yè)務(wù)來(lái)源、處理方案、以及選擇方案的時(shí)候考慮的一些權(quán)衡點(diǎn)。在接下來(lái)的文章中，會(huì)深入每個(gè)模塊，詳細(xì)地討論技術(shù)細(xì)節(jié)。下一篇會(huì)重點(diǎn)討論檢索模塊，歡迎關(guān)注。
