作者簡(jiǎn)介：劉超，網(wǎng)易云計(jì)算解決方案首席架構(gòu)師。10年云計(jì)算領(lǐng)域研發(fā)及架構(gòu)經(jīng)驗(yàn)，Open DC/OS貢獻(xiàn)者。長(zhǎng)期專注于kubernetes, OpenStack、Hadoop、Docker、Lucene、Mesos等開源軟件的企業(yè)級(jí)應(yīng)用及產(chǎn)品化。曾出版《Lucene應(yīng)用開發(fā)揭秘》。

以下為正文：

云計(jì)算概述

云計(jì)算主要解決了四個(gè)方面的內(nèi)容：計(jì)算，網(wǎng)絡(luò)，存儲(chǔ)，應(yīng)用。

計(jì)算就是CPU和內(nèi)存，例如“1+1”這個(gè)最簡(jiǎn)單的算法就是把“1”放在內(nèi)存里面，然后CPU做加法，返回的結(jié)果“2”又保存在內(nèi)存里面。網(wǎng)絡(luò)就是你插根網(wǎng)線能上網(wǎng)。存儲(chǔ)就是你下個(gè)電影有地方放。本次討論就是圍繞這四個(gè)部分來(lái)講的。其中，計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)三個(gè)是IaaS層面，應(yīng)用是PaaS層面。

云計(jì)算發(fā)展脈絡(luò)

云計(jì)算整個(gè)發(fā)展過(guò)程，用一句話來(lái)形容，就是“分久必合，合久必分”。

第一階段：合，即物理設(shè)備

物理設(shè)備簡(jiǎn)介

在互聯(lián)網(wǎng)發(fā)展初期，大家都愛(ài)用物理設(shè)備：

服務(wù)器用物理機(jī)，像戴爾、惠普、IBM、聯(lián)想等物理服務(wù)器，隨著硬件設(shè)備的進(jìn)步，物理服務(wù)器越來(lái)越強(qiáng)大了，64核128G內(nèi)存都算是普通配置；

網(wǎng)絡(luò)用的是硬件交換機(jī)和路由器，例如思科的，華為的，從1GE到10GE，現(xiàn)在有40GE和100GE，帶寬越來(lái)越牛；

存儲(chǔ)方面有的用普通的磁盤，也有更快的SSD盤。容量從M，到G，連筆記本電腦都能配置到T，更何況磁盤陣列；

物理設(shè)備的缺點(diǎn)

部署應(yīng)用直接使用物理機(jī)，看起來(lái)很爽，有種土豪的感覺(jué)，卻有大大的缺點(diǎn)：

人工運(yùn)維。如果你在一臺(tái)服務(wù)器上安裝軟件，把系統(tǒng)安裝壞了，怎么辦？只有重裝。當(dāng)你想配置一下交換機(jī)的參數(shù)，需要串口連上去進(jìn)行配置；當(dāng)你想增加一塊磁盤，要買一塊插進(jìn)服務(wù)器，這些都需要人工來(lái)，而且很大可能要求機(jī)房。你們公司在北五環(huán)，機(jī)房在南六環(huán)，這酸爽。

浪費(fèi)資源。其實(shí)你只想部署一個(gè)小小的網(wǎng)站，卻要用128G的內(nèi)存。混著部署吧，就有隔離性的問(wèn)題。

隔離性差。你把好多的應(yīng)用部署在同一臺(tái)物理機(jī)上，他們之間搶內(nèi)存、搶cpu，一個(gè)寫滿了硬盤，另一個(gè)就沒(méi)法用了，一個(gè)弄掛了內(nèi)核，另一個(gè)也跟著掛了，如果部署兩個(gè)相同的應(yīng)用，端口還會(huì)沖突，動(dòng)不動(dòng)就會(huì)出錯(cuò)。

第二階段：分，即虛擬化

虛擬化簡(jiǎn)介

因?yàn)槲锢碓O(shè)備的以上缺點(diǎn)，就有了第一次“合久必分”的過(guò)程，叫做虛擬化。所謂虛擬化，就是把實(shí)的變成虛的：

物理機(jī)變?yōu)樘摂M機(jī)。cpu是虛擬的，內(nèi)存是虛擬的，內(nèi)核是虛擬的，硬盤是虛擬的；

物理交換機(jī)變?yōu)樘摂M交換機(jī)。網(wǎng)卡是虛擬的，交換機(jī)是虛擬的，帶寬也是虛擬的；

物理存儲(chǔ)變成虛擬存儲(chǔ)。多塊硬盤虛擬成一大塊；

虛擬化解決的問(wèn)題

虛擬化很好地解決了在物理設(shè)備階段存在的三個(gè)問(wèn)題：

人工運(yùn)維。虛擬機(jī)的創(chuàng)建和刪除都可以遠(yuǎn)程操作，虛擬機(jī)被玩壞了，刪了再建一個(gè)分鐘級(jí)別的。虛擬網(wǎng)絡(luò)的配置也可以遠(yuǎn)程操作，創(chuàng)建網(wǎng)卡、分配帶寬都是調(diào)用接口就能搞定的；

資源浪費(fèi)。虛擬化了以后，資源可以分配地很小很小，比如1個(gè)cpu，1G內(nèi)存，1M帶寬，1G硬盤，都可以被虛擬出來(lái)；

隔離性差。每個(gè)虛擬機(jī)都有獨(dú)立的cpu、 內(nèi)存、硬盤、網(wǎng)卡，不同虛擬機(jī)之間的應(yīng)用互不干擾；

虛擬化時(shí)代的生態(tài)

在虛擬化階段，領(lǐng)跑者是Vmware，可以實(shí)現(xiàn)基本的計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)的虛擬化。如同這個(gè)世界有閉源就有開源、有windows就有l(wèi)inux、有Apple就有Android一樣，有Vmware，就有Xen和KVM。

在開源虛擬化方面，Xen 的Citrix做的不錯(cuò)，后來(lái)Redhat在KVM發(fā)力不少；對(duì)于網(wǎng)絡(luò)虛擬化，有Openvswitch，可以通過(guò)命令創(chuàng)建網(wǎng)橋、網(wǎng)卡、設(shè)置VLAN、設(shè)置帶寬；對(duì)于存儲(chǔ)虛擬化，本地盤有LVM，可以將多個(gè)硬盤變成一大塊盤，然后在里面切出一小塊給用戶。

虛擬化的缺點(diǎn)

但是虛擬化也有缺點(diǎn)。通過(guò)虛擬化軟件創(chuàng)建虛擬機(jī)，需要人工指定放在哪臺(tái)機(jī)器上、硬盤放在哪個(gè)存儲(chǔ)設(shè)備上，網(wǎng)絡(luò)的VLAN ID、帶寬的具體配置等，都需要人工指定。所以僅使用虛擬化的運(yùn)維工程師往往有一個(gè)Excel表格，記錄有多少臺(tái)物理機(jī)，每臺(tái)機(jī)器部署了哪些虛擬機(jī)。受此限制，一般虛擬化的集群數(shù)目都不是特別大。

第三階段：合，即云計(jì)算

云計(jì)算解決的問(wèn)題

為了解決虛擬化階段遺留的問(wèn)題，于是有了分久必合的過(guò)程。這個(gè)過(guò)程我們可以形象地稱為池化。虛擬化將資源分得很細(xì)，但是如此細(xì)分的資源靠Excel去管理，成本太高。池化就是將資源打成一個(gè)大的池，當(dāng)需要資源的時(shí)候，幫助用戶自動(dòng)地選擇，而非用戶指定。這個(gè)階段的關(guān)鍵點(diǎn)：調(diào)度器Scheduler。

私有云、公有云的兩極分化

這樣，Vmware有了自己的Vcloud；也有了基于Xen和KVM的私有云平臺(tái)CloudStack（后來(lái)Citrix將其收購(gòu)后開源）。

當(dāng)這些私有云平臺(tái)在用戶的數(shù)據(jù)中心里賣得奇貴無(wú)比、賺得盆滿缽盈的時(shí)候，有其他的公司開始了另外的選擇。這就是AWS和Google，他們開始了公有云領(lǐng)域的探索。

AWS最初就是基于Xen技術(shù)進(jìn)行虛擬化的，并且最終形成了公有云平臺(tái)。也許AWS最初只是不想讓自己的電商領(lǐng)域的利潤(rùn)全部交給私有云廠商吧，所以自己的云平臺(tái)首先支撐起了自己的業(yè)務(wù)。在這個(gè)過(guò)程中，AWS嚴(yán)肅地使用了自己的云計(jì)算平臺(tái)，使得公有云平臺(tái)并不是對(duì)資源的配置更加友好，而是對(duì)應(yīng)用的部署更加友好，最終大放異彩。

私有云廠商與公有云廠商的聯(lián)系與區(qū)別

如果仔細(xì)觀察就會(huì)發(fā)現(xiàn)，私有云和公有云雖然使用的是類似的技術(shù)，但在產(chǎn)品設(shè)計(jì)上卻是完全不同的兩種生物。

私有云廠商和公有云廠商也擁有類似的技術(shù)，但在產(chǎn)品運(yùn)營(yíng)上呈現(xiàn)出完全不同的基因。

私有云廠商是賣資源的，所以往往在賣私有云平臺(tái)的時(shí)候伴隨著賣計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)設(shè)備。在產(chǎn)品設(shè)計(jì)上，私有云廠商往往會(huì)對(duì)客戶強(qiáng)調(diào)其幾乎不會(huì)使用的計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)的技術(shù)參數(shù)，因?yàn)檫@些參數(shù)可以在和友商對(duì)標(biāo)的過(guò)程中占盡優(yōu)勢(shì)。私有云的廠商幾乎沒(méi)有自己的大規(guī)模應(yīng)用，所以私有云廠商的平臺(tái)做出來(lái)是給別人用的，自己不會(huì)大規(guī)模使用，所以產(chǎn)品往往圍繞資源展開，而不會(huì)對(duì)應(yīng)用的部署友好。

公有云的廠商往往都是有自己大規(guī)模的應(yīng)用需要部署，所以其產(chǎn)品的設(shè)計(jì)可以將常見(jiàn)的應(yīng)用部署需要的模塊作為組件提供出來(lái)，用戶可以像拼積木一樣，拼接一個(gè)適用于自己應(yīng)用的架構(gòu)。公有云廠商不必關(guān)心各種技術(shù)參數(shù)的PK，不必關(guān)心是否開源，是否兼容各種虛擬化平臺(tái)，是否兼容各種服務(wù)器設(shè)備、網(wǎng)絡(luò)設(shè)備、存儲(chǔ)設(shè)備。你管我用什么，客戶部署應(yīng)用方便就好。

公有云生態(tài)及老二的逆襲

公有云的第一名AWS活的自然很爽，作為第二名Rackspace就不那么舒坦了。

沒(méi)錯(cuò)，互聯(lián)網(wǎng)行業(yè)基本上就是一家獨(dú)大，那第二名如何逆襲呢？開源是很好的辦法，讓整個(gè)行業(yè)一起為這個(gè)云平臺(tái)出力。于是Rackspace與美國(guó)航空航天局（NASA）合作創(chuàng)始了開源云平臺(tái)OpenStack。

OpenStack現(xiàn)在發(fā)展的和AWS有點(diǎn)像了，所以從OpenStack的模塊組成可以看到云計(jì)算池化的方法。

OpenStack的組件

計(jì)算池化模塊Nova：OpenStack的計(jì)算虛擬化主要使用KVM，然而到底在哪個(gè)物理機(jī)上開虛擬機(jī)呢，這要靠nova-scheduler；

網(wǎng)絡(luò)池化模塊Neutron：OpenStack的網(wǎng)絡(luò)虛擬化主要使用Openvswitch，然而對(duì)于每一個(gè)Openvswitch的虛擬網(wǎng)絡(luò)、虛擬網(wǎng)卡、VLAN、帶寬的配置，不需要登錄到集群上配置，Neutron可以通過(guò)SDN的方式進(jìn)行配置；

存儲(chǔ)池化模塊Cinder: OpenStack的存儲(chǔ)虛擬化，如果使用本地盤，則基于LVM，使用哪個(gè)LVM上分配的盤，也是通過(guò)scheduler來(lái)的。后來(lái)就有了將多臺(tái)機(jī)器的硬盤打成一個(gè)池的方式Ceph，而調(diào)度的過(guò)程，則在Ceph層完成。

OpenStack帶來(lái)私有云市場(chǎng)的紅海

有了OpenStack，所有的私有云廠商都瘋了，原來(lái)VMware在私有云市場(chǎng)賺的實(shí)在太多了，眼巴巴的看著，沒(méi)有對(duì)應(yīng)的平臺(tái)可以和他抗衡?，F(xiàn)在有了現(xiàn)成的框架，再加上自己的硬件設(shè)備，幾乎所有的IT廠商巨頭，全部都加入到社區(qū)里，將OpenStack開發(fā)為自己的產(chǎn)品，連同硬件設(shè)備一起，殺入私有云市場(chǎng)。

公有or私有？網(wǎng)易的選擇

網(wǎng)易當(dāng)然也沒(méi)有錯(cuò)過(guò)這次風(fēng)口，上線了自己的OpenStack集群，網(wǎng)易蜂巢基于OpenStack自主研發(fā)了IaaS服務(wù)，在計(jì)算虛擬化方面，通過(guò)裁剪KVM鏡像，優(yōu)化虛擬機(jī)啟動(dòng)流程等改進(jìn)，實(shí)現(xiàn)了虛擬機(jī)的秒級(jí)別啟動(dòng)。在網(wǎng)絡(luò)虛擬化方面，通過(guò)SDN和Openvswitch技術(shù)，實(shí)現(xiàn)了虛擬機(jī)之間的高性能互訪。在存儲(chǔ)虛擬化方面，通過(guò)優(yōu)化Ceph存儲(chǔ)，實(shí)現(xiàn)高性能云盤。

但是網(wǎng)易并沒(méi)有殺進(jìn)私有云市場(chǎng)，而是使用OpenStack支撐起了自己的應(yīng)用，這是互聯(lián)網(wǎng)的思維。而僅僅是資源層面彈性是不夠的，還需要開發(fā)出對(duì)應(yīng)用部署友好的組件。例如數(shù)據(jù)庫(kù)，負(fù)載均衡，緩存等，這些都是應(yīng)用部署必不可少的，也是網(wǎng)易在大規(guī)模應(yīng)用實(shí)踐中，千錘百煉過(guò)的。這些組件稱為PaaS。

第四階段：分，即容器

現(xiàn)在來(lái)談?wù)?，?yīng)用層面，即PaaS層。

前面一直在講IaaS層的故事，也即基礎(chǔ)設(shè)施即服務(wù)，基本上在談?dòng)?jì)算、網(wǎng)絡(luò)、存儲(chǔ)的事情?，F(xiàn)在應(yīng)該說(shuō)說(shuō)應(yīng)用層，即PaaS層的事情了。

1. PaaS的定義與作用

IaaS的定義比較清楚，PaaS的定義就沒(méi)那么清楚了。有人把數(shù)據(jù)庫(kù)、負(fù)載均衡、緩存作為PaaS服務(wù)；有人把大數(shù)據(jù)Hadoop,、Spark平臺(tái)作為PaaS服務(wù)；還有人將應(yīng)用的安裝與管理，例如Puppet、 Chef,、Ansible作為PaaS服務(wù)。

其實(shí)PaaS主要用于管理應(yīng)用層。我總結(jié)為兩部分：一部分是你自己的應(yīng)用應(yīng)當(dāng)自動(dòng)部署，比如Puppet、Chef、Ansible、 Cloud Foundry等，可以通過(guò)腳本幫你部署；另一部分是你覺(jué)得復(fù)雜的通用應(yīng)用不用部署，比如數(shù)據(jù)庫(kù)、緩存、大數(shù)據(jù)平臺(tái)，可以在云平臺(tái)上一點(diǎn)即得。

要么就是自動(dòng)部署，要么就是不用部署，總的來(lái)說(shuō)就是應(yīng)用層你也少操心，就是PaaS的作用。當(dāng)然最好還是都不用去部署，一鍵可得，所以公有云平臺(tái)將通用的服務(wù)都做成了PaaS平臺(tái)。另一些你自己開發(fā)的應(yīng)用，除了你自己其他人不會(huì)知道，所以你可以用工具變成自動(dòng)部署。

2. PaaS的優(yōu)點(diǎn)

PaaS最大的優(yōu)點(diǎn)，就是可以實(shí)現(xiàn)應(yīng)用層的彈性伸縮。比如在雙十一期間，10個(gè)節(jié)點(diǎn)要變成100個(gè)節(jié)點(diǎn)，如果使用物理設(shè)備，再買90臺(tái)機(jī)器肯定來(lái)不及，僅僅有IaaS實(shí)現(xiàn)資源的彈性是不夠的，再創(chuàng)建90臺(tái)虛擬機(jī)，也是空的，還是需要運(yùn)維人員一臺(tái)一臺(tái)地部署。所以有了PaaS就好了，一臺(tái)虛擬機(jī)啟動(dòng)后，馬上運(yùn)行自動(dòng)部署腳本，進(jìn)行應(yīng)用的安裝，90臺(tái)機(jī)器自動(dòng)安裝好了應(yīng)用，才是真正的彈性伸縮。

3. PaaS部署的問(wèn)題

當(dāng)然這種部署方式也有一個(gè)問(wèn)題，就是無(wú)論P(yáng)uppet、 Chef、Ansible把安裝腳本抽象的再好，說(shuō)到底也是基于腳本的，然而應(yīng)用所在的環(huán)境千差萬(wàn)別。文件路徑的差別，文件權(quán)限的差別，依賴包的差別，應(yīng)用環(huán)境的差別，Tomcat、 PHP、 Apache等軟件版本的差別，JDK、Python等版本的差別，是否安裝了一些系統(tǒng)軟件，是否占用了哪些端口，都可能造成腳本執(zhí)行的不成功。所以看起來(lái)是一旦腳本寫好，就能夠快速?gòu)?fù)制了，但是環(huán)境稍有改變，就需要把腳本進(jìn)行新一輪的修改、測(cè)試、聯(lián)調(diào)。例如在數(shù)據(jù)中心寫好的腳本移到AWS上就不一定直接能用，在AWS上聯(lián)調(diào)好了，遷移到Google Cloud上也可能會(huì)再出問(wèn)題。

容器的誕生

1. 容器的定義

于是容器便應(yīng)運(yùn)而生。容器是Container，Container另一個(gè)意思是集裝箱，其實(shí)容器的思想就是要變成軟件交付的集裝箱。集裝箱的特點(diǎn)，一是打包，二是標(biāo)準(zhǔn)。設(shè)想沒(méi)有集裝箱的時(shí)代，如果將貨物從A運(yùn)到B，中間要經(jīng)過(guò)三個(gè)碼頭，換三次船的話，貨物每次都要卸下船來(lái)，擺的七零八落，然后換船的時(shí)候，需要重新擺放整齊，在沒(méi)有集裝箱的時(shí)候，船員們都需要在岸上待幾天再走。而在有了集裝箱后，所有的貨物都打包在一起了，并且集裝箱的尺寸全部一致，所以每次換船的時(shí)候，整體一個(gè)箱子搬過(guò)去就可以了，小時(shí)級(jí)別就能完成，船員再也不用長(zhǎng)時(shí)間上岸等待了。

2.容器在開發(fā)中的應(yīng)用

設(shè)想A就是程序員，B就是用戶，貨物就是代碼及運(yùn)行環(huán)境，中間的三個(gè)碼頭分別是開發(fā)，測(cè)試，上線。假設(shè)代碼的運(yùn)行環(huán)境如下：

1. Ubuntu操作系統(tǒng)

2. 創(chuàng)建用戶hadoop

3. 下載解壓JDK 1.7在某個(gè)目錄下

4. 將這個(gè)目錄加入JAVA_HOME和PATH的環(huán)境變量里面

5. 將環(huán)境變量的export放在hadoop用戶的home目錄下的.bashrc文件中

6. 下載并解壓tomcat 7

7. 將war放到tomcat的webapp路徑下面

8. 修改tomcat的啟動(dòng)參數(shù)，將Java的Heap Size設(shè)為1024M

看，一個(gè)簡(jiǎn)單的Java網(wǎng)站，就需要考慮這么多零零散散的東西，如果不打包，就需要在開發(fā)，測(cè)試，生產(chǎn)的每個(gè)環(huán)境上查看，保證環(huán)境的一致，甚至要將這些環(huán)境重新搭建一遍，就像每次將貨物打散了重裝一樣麻煩。中間稍有差池，比如開發(fā)環(huán)境用了JDK 1.8，而線上是JDK 1.7；比如開發(fā)環(huán)境用了root用戶，線上需要使用hadoop用戶，都可能導(dǎo)致程序的運(yùn)行失敗。

第五階段，未完，待續(xù)~~欲知容器如何對(duì)應(yīng)用打包，且聽下回分解。