【架構(gòu)】Instagram架構(gòu)揭秘

Instagram是一個在iPhone上基于社交網(wǎng)絡(luò)的圖片分享服務(wù),創(chuàng)立之初的一年多時間就吸引了1400萬用戶,目前已經(jīng)用戶達(dá)到3000萬。截至到去年八月,Instagram上總共有1.5億張圖片,所有的數(shù)據(jù)都建立在Amazon stack上。

Instagram的團(tuán)隊曾經(jīng)撰文《Instagram:數(shù)百的實(shí)例 大量的技術(shù)》披露了其架構(gòu)。

Instagram混雜了不同的技術(shù)和策略。團(tuán)隊雖然很小,但經(jīng)驗(yàn)快速增長讓他們趕上了社交和移動互聯(lián)網(wǎng)大潮。他們采用了混合的SQL和NoSQL技術(shù),這里有大量的開源項(xiàng)目,并選擇了云服務(wù),Amazon的服務(wù)提供了很高的杠桿率,這比他們自己建設(shè)要高的多,可靠性完全可用,按時間順序異步的將組件鏈接起來,系統(tǒng)包含了足夠多的服務(wù),包括API和外部服務(wù),這些都不用工程師重新開發(fā)。數(shù)據(jù)保存在內(nèi)存中和云端,多數(shù)代碼為動態(tài)語言,從新開發(fā)的后臺傳輸服務(wù)將所有服務(wù)鏈接在一起,代碼更新很快并保持簡短。一個非?,F(xiàn)代的架構(gòu)。

我們將Instagram的詳細(xì)架構(gòu)列在這里,總結(jié)很到位,很有價值。以下是所有要點(diǎn):

  • Instagram告訴我們:1)保持簡單 2)利用現(xiàn)成的一切 3)采用被證明穩(wěn)定成熟的技術(shù)

  • 3名工程師(最新的報道稱已經(jīng)增加到13名,這只是暫時的數(shù)據(jù))

  • Amazon商店。他們采用了大量Amazon的服務(wù)。曾經(jīng)只有3名工程師,你可以想象他們根本沒有時間照看服務(wù)器。

  • 超過100個Amazon EC2實(shí)例,用于各種目的。

  • Ubuntu Linux 11.04(“敏捷獨(dú)角鯨”)。非常穩(wěn)定,其它版本的Ubuntu也包含在其中。

  • Amazon的Elastic Load Balancer路由請求服務(wù)以及背后的3個nginx接口

  • 安全套接層在Elastic Load Balancer終止,可減少nginx占用的CPU資源

  • DNS采用Amazon Route53

  • 超過25個Django應(yīng)用服務(wù)器,集成在高性能CPU和超大號的機(jī)器上

  • 通信對CPU的要求比內(nèi)存的要求高,因此高性能CPU的大型機(jī)器帶來更好的平衡

  • 網(wǎng)關(guān)接口采用Gunicorn。Apache調(diào)試更困難而且對CPU要求更高。

  • Fabric用于輸入所有機(jī)器控制指令。部署任務(wù)只需要以秒計。

  • PostgreSQL(用于存儲用戶信息、圖片說明,tag以及其它)數(shù)據(jù)庫,運(yùn)行在12個四重超大內(nèi)存的機(jī)器上。

  • 12個PostgreSQL的備份

  • PostgreSQL的主鏡像通過復(fù)制分發(fā)內(nèi)容。Amazon EBS提供快照服務(wù),并頻繁的備份。

  • Amazon EBS配置了軟件RAID。使用mdadm命令獲得適當(dāng)?shù)腎/O

  • 所有這些工作存儲在內(nèi)存中。Amazon EBS不能提供足夠高的磁盤尋址服務(wù)。

  • Vmtouch命令(文件系統(tǒng)緩存診斷)用于內(nèi)存中的數(shù)據(jù),特別是當(dāng)數(shù)據(jù)從一臺機(jī)器傳輸?shù)搅硪慌_機(jī)器失敗的時候

  • 采用XFS文件系統(tǒng)。保證快照的一致性。

  • Pgbouncer用于連接池鏈接到PostgreSQL

  • 數(shù)TB的圖片存儲在Amazon S3上

  • CDN服務(wù)采用Amazon CloudFront

  • Redis提供feed、進(jìn)程和其它服務(wù)支持

  • Redis運(yùn)行在幾個四重超大內(nèi)存機(jī)器上。

  • Redis運(yùn)行在主鏡像上,副本不斷的存儲在磁盤上。Amazon EBS備份數(shù)據(jù)庫傾倒的信息。在主鏡像上備份十分困難。

  • Apache的Solr提供geo-search的API。就像一個JSON的接口。

  • 6個內(nèi)存緩存實(shí)例,通過pylibmc和libmemcached鏈接。Amazon Elastic Cache并不便宜。

  • Gearman用于:異步的將圖片分享到Twitter、Facebook及其它網(wǎng)站;實(shí)時的發(fā)布訂閱者的新圖片;

  • 200個Python工作分派任務(wù)進(jìn)入Gearman的任務(wù)隊列

  • Pyapns(Apple通知服務(wù))控制上十億的通知發(fā)布,巖石般的穩(wěn)定。

  • Munin繪制系統(tǒng)警報圖表,開發(fā)了許多定制插件用于Python-Munin繪圖,包括每秒的注冊數(shù)、每秒圖片發(fā)送數(shù)等等

  • Pingdom用于服務(wù)的外部監(jiān)控

  • PagerDuty控制通知和事件。

  • Sentry用于Python的錯誤報告

現(xiàn)在,你終于知道了10億美元買到了什么......

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 復(fù)盤原來其實(shí)是圍棋術(shù)語,說的就是下完棋之后,對下過的棋進(jìn)行研究,切磋的過程,包括每一步是否還有另外的選擇,每種選擇...
    追宇閱讀 441評論 0 2
  • 爸,今天很晚才睡。要按平常。你都睡了一覺上廁所后,會對我說:你還不睡呢?我就說睡呀,爸。其實(shí)我可怕你看到我沒睡了,...
    李彎彎閱讀 207評論 0 0
  • 明天就過春節(jié)了,下午爸爸媽媽和我早早吃完飯,然后一起大掃除。爸爸付責(zé)家里地面衛(wèi)生,媽媽付責(zé)所有房間的整...
    Guanhaolei閱讀 226評論 0 0

友情鏈接更多精彩內(nèi)容