第2章 Google云計(jì)算原理與應(yīng)用

Google云計(jì)算技術(shù)包括：Google文件系統(tǒng)GFS、分布式計(jì)算編程模型MapReduce、分布式鎖服務(wù)Chubby、分布式結(jié)構(gòu)化數(shù)據(jù)表Bigtable、分布式存儲系統(tǒng)Megastore、分布式監(jiān)控系統(tǒng)Dapper、海量數(shù)據(jù)的交互式分析工具Dremel，以及內(nèi)存大數(shù)據(jù)分析系統(tǒng)PowerDrill等。

Google文件系統(tǒng)GFS

系統(tǒng)架構(gòu)

GFS將整個(gè)系統(tǒng)的節(jié)點(diǎn)分為三類角色：Client、Master和Chunk Server。

client是GFS提供給應(yīng)用程序的訪問接口，它是一組專門接口，不遵循POSIX規(guī)范，以庫文件的形式提供。應(yīng)用程序直接調(diào)用這些庫函數(shù)，并與該庫鏈接在一起。

master是GFS的管理節(jié)點(diǎn)，在邏輯上只有一個(gè)，它保存系統(tǒng)的元數(shù)據(jù)，負(fù)責(zé)整個(gè)文件系統(tǒng)的管理，是GFS文件系統(tǒng)中的“大腦”。

chunk server負(fù)責(zé)具體的存儲工作。數(shù)據(jù)以文件的形式存儲在chunk server上。

GFS的特點(diǎn)：采用中心服務(wù)器模式、不緩存數(shù)據(jù)、在用戶態(tài)下實(shí)現(xiàn)、只提供專用接口。

容錯(cuò)機(jī)制

1.Master容錯(cuò)?

Master上保存了GFS文件系統(tǒng)的三種元數(shù)據(jù)。

1）命名空間（Name Space），也就是整個(gè)文件系統(tǒng)的目錄結(jié)構(gòu)

2）Chunk 與文件名的映射表

3）Chunk副本的位置信息，每一個(gè)Chunk默認(rèn)有三個(gè)副本

2.Chunk Server容錯(cuò)

GFS采用副本的方式實(shí)現(xiàn)Chunk Server的容錯(cuò)。每一個(gè)chunk有多個(gè)存儲副本（默認(rèn)為三個(gè)），分部存儲在不同的chunk server上。

系統(tǒng)管理技術(shù)

1.大規(guī)模集群安裝技術(shù)；2.故障檢測技術(shù)；3.節(jié)點(diǎn)動(dòng)態(tài)加入技術(shù)；4.節(jié)能技術(shù)