Instagram是一個在iPhone上基于社交網(wǎng)絡(luò)的圖片分享服務(wù),創(chuàng)立之初的一年多時間就吸引了1400萬用戶,目前已經(jīng)用戶達(dá)到3000萬。截至到去年八月,Instagram上總共有1.5億張圖片,所有的數(shù)據(jù)都建立在Amazon stack上。
Instagram的團(tuán)隊曾經(jīng)撰文《Instagram:數(shù)百的實(shí)例 大量的技術(shù)》披露了其架構(gòu)。
Instagram混雜了不同的技術(shù)和策略。團(tuán)隊雖然很小,但經(jīng)驗(yàn)快速增長讓他們趕上了社交和移動互聯(lián)網(wǎng)大潮。他們采用了混合的SQL和NoSQL技術(shù),這里有大量的開源項(xiàng)目,并選擇了云服務(wù),Amazon的服務(wù)提供了很高的杠桿率,這比他們自己建設(shè)要高的多,可靠性完全可用,按時間順序異步的將組件鏈接起來,系統(tǒng)包含了足夠多的服務(wù),包括API和外部服務(wù),這些都不用工程師重新開發(fā)。數(shù)據(jù)保存在內(nèi)存中和云端,多數(shù)代碼為動態(tài)語言,從新開發(fā)的后臺傳輸服務(wù)將所有服務(wù)鏈接在一起,代碼更新很快并保持簡短。一個非?,F(xiàn)代的架構(gòu)。
我們將Instagram的詳細(xì)架構(gòu)列在這里,總結(jié)很到位,很有價值。以下是所有要點(diǎn):
Instagram告訴我們:1)保持簡單 2)利用現(xiàn)成的一切 3)采用被證明穩(wěn)定成熟的技術(shù)
3名工程師(最新的報道稱已經(jīng)增加到13名,這只是暫時的數(shù)據(jù))
Amazon商店。他們采用了大量Amazon的服務(wù)。曾經(jīng)只有3名工程師,你可以想象他們根本沒有時間照看服務(wù)器。
超過100個Amazon EC2實(shí)例,用于各種目的。
Ubuntu Linux 11.04(“敏捷獨(dú)角鯨”)。非常穩(wěn)定,其它版本的Ubuntu也包含在其中。
Amazon的Elastic Load Balancer路由請求服務(wù)以及背后的3個nginx接口
安全套接層在Elastic Load Balancer終止,可減少nginx占用的CPU資源
DNS采用Amazon Route53
超過25個Django應(yīng)用服務(wù)器,集成在高性能CPU和超大號的機(jī)器上
通信對CPU的要求比內(nèi)存的要求高,因此高性能CPU的大型機(jī)器帶來更好的平衡
網(wǎng)關(guān)接口采用Gunicorn。Apache調(diào)試更困難而且對CPU要求更高。
Fabric用于輸入所有機(jī)器控制指令。部署任務(wù)只需要以秒計。
PostgreSQL(用于存儲用戶信息、圖片說明,tag以及其它)數(shù)據(jù)庫,運(yùn)行在12個四重超大內(nèi)存的機(jī)器上。
12個PostgreSQL的備份
PostgreSQL的主鏡像通過復(fù)制分發(fā)內(nèi)容。Amazon EBS提供快照服務(wù),并頻繁的備份。
Amazon EBS配置了軟件RAID。使用mdadm命令獲得適當(dāng)?shù)腎/O
所有這些工作存儲在內(nèi)存中。Amazon EBS不能提供足夠高的磁盤尋址服務(wù)。
Vmtouch命令(文件系統(tǒng)緩存診斷)用于內(nèi)存中的數(shù)據(jù),特別是當(dāng)數(shù)據(jù)從一臺機(jī)器傳輸?shù)搅硪慌_機(jī)器失敗的時候
采用XFS文件系統(tǒng)。保證快照的一致性。
Pgbouncer用于連接池鏈接到PostgreSQL
數(shù)TB的圖片存儲在Amazon S3上
CDN服務(wù)采用Amazon CloudFront
Redis提供feed、進(jìn)程和其它服務(wù)支持
Redis運(yùn)行在幾個四重超大內(nèi)存機(jī)器上。
Redis運(yùn)行在主鏡像上,副本不斷的存儲在磁盤上。Amazon EBS備份數(shù)據(jù)庫傾倒的信息。在主鏡像上備份十分困難。
Apache的Solr提供geo-search的API。就像一個JSON的接口。
6個內(nèi)存緩存實(shí)例,通過pylibmc和libmemcached鏈接。Amazon Elastic Cache并不便宜。
Gearman用于:異步的將圖片分享到Twitter、Facebook及其它網(wǎng)站;實(shí)時的發(fā)布訂閱者的新圖片;
200個Python工作分派任務(wù)進(jìn)入Gearman的任務(wù)隊列
Pyapns(Apple通知服務(wù))控制上十億的通知發(fā)布,巖石般的穩(wěn)定。
Munin繪制系統(tǒng)警報圖表,開發(fā)了許多定制插件用于Python-Munin繪圖,包括每秒的注冊數(shù)、每秒圖片發(fā)送數(shù)等等
Pingdom用于服務(wù)的外部監(jiān)控
PagerDuty控制通知和事件。
Sentry用于Python的錯誤報告
現(xiàn)在,你終于知道了10億美元買到了什么......