點(diǎn)關(guān)注，不迷路；持續(xù)更新Java相關(guān)技術(shù)及資訊?。。?br>

為了感謝支持我的朋友！整理了一份Java高級(jí)架構(gòu)資料、Spring源碼分析、Dubbo、Redis、Netty、zookeeper、Spring cloud、分布式等資料喜歡底層源碼的朋友可以來交流探討。交流群：818491202 驗(yàn)證：33

1.MongoDB是什么？用一句話總結(jié)

MongoDB是一款為web應(yīng)用程序和互聯(lián)網(wǎng)基礎(chǔ)設(shè)施設(shè)計(jì)的數(shù)據(jù)庫(kù)管理系統(tǒng)。沒錯(cuò)MongoDB就是數(shù)據(jù)庫(kù)，是NoSQL類型的數(shù)據(jù)庫(kù)。

2.為什么要使用MongoDB？

（1）MongoDB提出的是文檔、集合的概念，使用BSON（類JSON）作為其數(shù)據(jù)模型結(jié)構(gòu)，其結(jié)構(gòu)是面向?qū)ο蟮亩皇嵌S表，存儲(chǔ)一個(gè)用戶在MongoDB中是這樣子的。

｛

username:'123',

password:'123'

｝

使用這樣的數(shù)據(jù)模型，使得MongoDB能在生產(chǎn)環(huán)境中提供高讀寫的能力，吞吐量較于mysql等SQL數(shù)據(jù)庫(kù)大大增強(qiáng)。

（2）易伸縮，自動(dòng)故障轉(zhuǎn)移。易伸縮指的是提供了分片能力，能對(duì)數(shù)據(jù)集進(jìn)行分片，數(shù)據(jù)的存儲(chǔ)壓力分?jǐn)偨o多臺(tái)服務(wù)器。自動(dòng)故障轉(zhuǎn)移是副本集的概念，MongoDB能檢測(cè)主節(jié)點(diǎn)是否存活，當(dāng)失活時(shí)能自動(dòng)提升從節(jié)點(diǎn)為主節(jié)點(diǎn)，達(dá)到故障轉(zhuǎn)移。

（3）數(shù)據(jù)模型因?yàn)槭敲嫦驅(qū)ο蟮?，所以可以表示豐富的、有層級(jí)的數(shù)據(jù)結(jié)構(gòu)，比如博客系統(tǒng)中能把“評(píng)論”直接懟到“文章“的文檔中，而不必像myqsl一樣創(chuàng)建三張表來描述這樣的關(guān)系。

3.主要特性

（1）文檔數(shù)據(jù)類型

SQL類型的數(shù)據(jù)庫(kù)是正規(guī)化的，可以通過主鍵或者外鍵的約束保證數(shù)據(jù)的完整性與唯一性，所以SQL類型的數(shù)據(jù)庫(kù)常用于對(duì)數(shù)據(jù)完整性較高的系統(tǒng)。MongoDB在這一方面是不如SQL類型的數(shù)據(jù)庫(kù)，且MongoDB沒有固定的Schema，正因?yàn)镸ongoDB少了一些這樣的約束條件，可以讓數(shù)據(jù)的存儲(chǔ)數(shù)據(jù)結(jié)構(gòu)更靈活，存儲(chǔ)速度更加快。

（2）即時(shí)查詢能力

MongoDB保留了關(guān)系型數(shù)據(jù)庫(kù)即時(shí)查詢的能力，保留了索引（底層是基于B tree）的能力。這一點(diǎn)汲取了關(guān)系型數(shù)據(jù)庫(kù)的優(yōu)點(diǎn)，相比于同類型的NoSQL redis 并沒有上述的能力。

（3）復(fù)制能力

MongoDB自身提供了副本集能將數(shù)據(jù)分布在多臺(tái)機(jī)器上實(shí)現(xiàn)冗余，目的是可以提供自動(dòng)故障轉(zhuǎn)移、擴(kuò)展讀能力。

（4）速度與持久性

MongoDB的驅(qū)動(dòng)實(shí)現(xiàn)一個(gè)寫入語義 fire and forget ，即通過驅(qū)動(dòng)調(diào)用寫入時(shí)，可以立即得到返回得到成功的結(jié)果（即使是報(bào)錯(cuò)），這樣讓寫入的速度更加快，當(dāng)然會(huì)有一定的不安全性，完全依賴網(wǎng)絡(luò)。

MongoDB提供了Journaling日志的概念，實(shí)際上像mysql的bin-log日志，當(dāng)需要插入的時(shí)候會(huì)先往日志里面寫入記錄，再完成實(shí)際的數(shù)據(jù)操作，這樣如果出現(xiàn)停電，進(jìn)程突然中斷的情況，可以保障數(shù)據(jù)不會(huì)錯(cuò)誤，可以通過修復(fù)功能讀取Journaling日志進(jìn)行修復(fù)。

（5）數(shù)據(jù)擴(kuò)展

MongoDB使用分片技術(shù)對(duì)數(shù)據(jù)進(jìn)行擴(kuò)展，MongoDB能自動(dòng)分片、自動(dòng)轉(zhuǎn)移分片里面的數(shù)據(jù)塊，讓每一個(gè)服務(wù)器里面存儲(chǔ)的數(shù)據(jù)都是一樣大小。

4.C/S服務(wù)模型

MongoDB核心服務(wù)器主要是通過mongod程序啟動(dòng)的，而且在啟動(dòng)時(shí)不需對(duì)MongoDB使用的內(nèi)存進(jìn)行配置，因?yàn)槠湓O(shè)計(jì)哲學(xué)是內(nèi)存管理最好是交給操作系統(tǒng)，缺少內(nèi)存配置是MongoDB的設(shè)計(jì)亮點(diǎn)，另外，還可通過mongos路由服務(wù)器使用分片功能。

MongoDB的主要客戶端是可以交互的js shell 通過mongo啟動(dòng)，使用js shell能使用js直接與MongoDB進(jìn)行交流，像使用sql語句查詢mysql數(shù)據(jù)一樣使用js語法查詢MongoDB的數(shù)據(jù)，另外還提供了各種語言的驅(qū)動(dòng)包，方便各種語言的接入。

5.完善的命令行工具

mongodump和mongorestore,備份和恢復(fù)數(shù)據(jù)庫(kù)的標(biāo)準(zhǔn)工具。輸出BSON格式，遷移數(shù)據(jù)庫(kù)。

mongoexport和mongoimport，用來導(dǎo)入導(dǎo)出JSON、CSV和TSV數(shù)據(jù)，數(shù)據(jù)需要支持多格式時(shí)有用。mongoimport還能用與大數(shù)據(jù)集的初始導(dǎo)入，但是在導(dǎo)入前順便還要注意一下，為了能充分利用好mongoDB通常需要對(duì)數(shù)據(jù)模型做一些調(diào)整。

mongosniff,網(wǎng)絡(luò)嗅探工具，用來觀察發(fā)送到數(shù)據(jù)庫(kù)的操作?；揪褪前丫W(wǎng)絡(luò)上傳輸?shù)腂SON轉(zhuǎn)換為易于人們閱讀的shell語句。

因此，可以總結(jié)得到，MongoDB結(jié)合鍵值存儲(chǔ)和關(guān)系數(shù)據(jù)庫(kù)的最好特性。因?yàn)楹?jiǎn)單，所以數(shù)據(jù)極快，而且相對(duì)容易伸縮還提供復(fù)雜查詢機(jī)制的數(shù)據(jù)庫(kù)。MongoDB需要跑在64位的服務(wù)器上面，且最好單獨(dú)部署，因?yàn)槭菙?shù)據(jù)庫(kù)，所以也需要對(duì)其進(jìn)行熱備、冷備處理。

二、

進(jìn)入MongoDB shell

因?yàn)楸酒恼虏皇茿PI手冊(cè)，所有這里對(duì)shell的使用也是基礎(chǔ)的介紹什么功能可以用什么語句，主要是為了展示使用MongoDB shell的方便性，如果需要知道具體的MongoDB shell語法可以查閱官方文檔。

1.切換數(shù)據(jù)庫(kù)

use?dba

創(chuàng)建數(shù)據(jù)庫(kù)并不是必須的操作，數(shù)據(jù)庫(kù)與集合只有在第一次插入文檔時(shí)才會(huì)被創(chuàng)建，與對(duì)數(shù)據(jù)的動(dòng)態(tài)處理方式是一致的。簡(jiǎn)化并加速開發(fā)過程，而且有利于動(dòng)態(tài)分配命名空間。如果擔(dān)心數(shù)據(jù)庫(kù)或集合被意外創(chuàng)建，可以開啟嚴(yán)格模式。

2.插入語法

db.users.insert({username:"smith"})

db.users.save({username:"smith"})

區(qū)別:若新增的數(shù)據(jù)中存在主鍵 ，insert() 會(huì)提示錯(cuò)誤，而save() 則更改原來的內(nèi)容為新內(nèi)容。如：

已存在數(shù)據(jù)：{_id : 1, " name " : " n1 " }，再次進(jìn)行插入操作時(shí)，insert({_id : 1, " name " : " n2 " }) 會(huì)報(bào)主鍵重復(fù)的錯(cuò)誤提示，save({ _id : 1, " name " : " n2 " }) 會(huì)把 n1 修改為 n2 。

相同點(diǎn)：若新增的數(shù)據(jù)中沒有主鍵時(shí)，會(huì)增加一條記錄。已存在數(shù)據(jù)：{ _id : 1, " name " : " n1 " }，再次進(jìn)行插入操作時(shí)，insert({ " name " : " n2 " }) 插入的數(shù)據(jù)因?yàn)闆]有主鍵，所以會(huì)增加一條數(shù)據(jù)，save({ " name " : " n2 " }) 增加一條數(shù)據(jù)。

3.查找語法

db.users.find()

db.users.count()

4.更新語法

db.users.update({username:"smith"},{$set:{country:"Canada"}})

//把用戶名為smith的用戶的國(guó)家改成Canada

db.users.update({username:"smith"},{$unset:{country:1}})

//把用戶名為smith的用戶的國(guó)家字段給移除

db.users.update({username:"jones"},{$set:{favorites:{movies:["casablance","rocky"]}}})

//這里主要體現(xiàn)多值修改，在favorties字段中添加多個(gè)值

db.users.update({"favorites.movies":"casablance"},{$addToSet:{favorites.movies:"the?maltese"}},false,true)

//多項(xiàng)更新

5.刪除語法

db.foo.remove()?//刪除所有數(shù)據(jù)

db.foo.remove({favorties.cities:"cheyene"})?//根據(jù)條件進(jìn)行刪除

db.drop()?//刪除整個(gè)集合

6.索引相關(guān)語法

db.numbers.ensureIndex({num:1})

//創(chuàng)建一個(gè)升序索引

db.numbers.getIndexes()

//獲取全部索引

7.基本管理語法

show?dbs

//查詢所有數(shù)據(jù)庫(kù)

show?collections

//顯示所有表

db.stats()

//顯示數(shù)據(jù)庫(kù)狀態(tài)信息

db.numbers.stats()

//顯示集合表狀態(tài)信息

db,shutdownServer()

//停止數(shù)據(jù)庫(kù)

db.help()

//獲取數(shù)據(jù)庫(kù)操作命令

db.foo.help()

//獲取表操作命令

tab?鍵?//能自動(dòng)幫我們補(bǔ)全命令

以上的命令只是簡(jiǎn)單實(shí)例，假設(shè)如果你之前沒有學(xué)習(xí)過任何數(shù)據(jù)庫(kù)語法，同時(shí)開始學(xué)sql查詢語法和MongoDB 查詢語法，你會(huì)發(fā)現(xiàn)哪一個(gè)更簡(jiǎn)單呢？如果你使用的是java驅(qū)動(dòng)去操作MongoDB，你會(huì)發(fā)現(xiàn)任何的查詢都像Hibernate提供出來的查詢方式一樣，只要構(gòu)建好一個(gè)查詢條件對(duì)象，便能輕松查詢（接下來會(huì)給出示例），博主之前熟悉ES6，所以入手MongoDB js shell完成沒問題，也正因?yàn)檫@樣簡(jiǎn)潔，完善的查詢機(jī)制，深深的愛上了MongoDB。

三、

使用java驅(qū)動(dòng)

使用java驅(qū)動(dòng)鏈接MongoDB是一件非常簡(jiǎn)單的事情，簡(jiǎn)單的引用，簡(jiǎn)單的做增刪改查。在使用完java驅(qū)動(dòng)后我才發(fā)現(xiàn)spring 對(duì)MongoDB 的封裝還不如官方自身提供出來的東西好用，下面簡(jiǎn)單的展示一下使用。

1.使用maven引入jar包

org.mongodbgroupId>

mongodb-driver-syncartifactId>

3.8.0-beta3version>

dependency>

2.創(chuàng)建一個(gè)訪問客戶端

MongoClient?client?=?MongoClients.create(“mongodb://10.201.76.94:27017”);

3.獲取集合數(shù)量

publiclongcount(){

MongoClient?client?=this.getClient();

MongoCollectioncollections=?client.getDatabase("mongodb_db_name").getCollection("mongodb_collection_name");

returncollections.count();

}

4.查詢集合

publicListfind(Document?params,Bson?sort,intskip,intlimit){

MongoClient?client?=this.getClient();

MongoCollectioncollections=?client.getDatabase("mongodb_db_name").getCollection("mongodb_collection_name");

Listlist?=newArrayList(Integer.valueOf(config.getPro("sync_limit")));

collections.find(params).sort(sort).skip(skip).limit(limit).forEach(newBlock()?{

@Override

publicvoidapply(Document?document){

list.add(document);

}

});

returnlist;

}

這里只舉例了簡(jiǎn)單的鏈接與簡(jiǎn)單的MongoDB操作，可見其操作的容易性。使用驅(qū)動(dòng)時(shí)是基于TCP套接字與MongoDB進(jìn)行通信的，如果查詢結(jié)果較多，恰好無法全部放進(jìn)第一服務(wù)器中，將會(huì)向服務(wù)器發(fā)送一個(gè)getmore指令獲取下一批查詢結(jié)果。

插入數(shù)據(jù)到服務(wù)器時(shí)間，不會(huì)等待服務(wù)器的響應(yīng)，驅(qū)動(dòng)會(huì)假設(shè)寫入是成功的，實(shí)際是使用客戶端生成對(duì)象id，但是該行為可以通過配置配置，可以通過安全模式開啟，安全模式可以校驗(yàn)服務(wù)器端插入的錯(cuò)誤。

四、

schema 設(shè)計(jì)原則

1.需要關(guān)注MongoDB的自身的特性

要清楚了解MongoDB的基本數(shù)據(jù)單元。在關(guān)系型數(shù)據(jù)庫(kù)中有帶列和行的數(shù)據(jù)表。而MongoDB數(shù)據(jù)的基本單元是BSON文檔，在鍵值中有指向不定類型值的鍵，MongoDB擁有即時(shí)查詢，但不支持聯(lián)結(jié)操作，簡(jiǎn)單的鍵值存儲(chǔ)只能根據(jù)單個(gè)鍵來獲取值，不支持事務(wù)，但支持多種原子更新操作。

2.需要關(guān)注系統(tǒng)本身的讀寫特性

如讀寫比是怎樣的，需要何種查詢，數(shù)據(jù)是如何更新的，會(huì)不會(huì)存在什么并發(fā)問題，數(shù)據(jù)結(jié)構(gòu)化的程度是要求高還是低。系統(tǒng)本身的需求決定mysql還是MongoDB。

3.關(guān)注MongoDB schema 的設(shè)計(jì)模式

內(nèi)嵌與引用：當(dāng)子對(duì)象總是出現(xiàn)在父對(duì)象的上下文中時(shí)，使用內(nèi)嵌文檔；否則將子對(duì)象單獨(dú)存一個(gè)集合。

一對(duì)多的關(guān)系：在“多”的集合關(guān)系中添加id指向依賴的id。

多對(duì)多：在其中一種對(duì)應(yīng)關(guān)系中使用對(duì)象數(shù)組指向另外一個(gè)對(duì)象。

樹：具化路徑，在樹中的每個(gè)節(jié)點(diǎn)都包含一個(gè)path字段，該字段具體保存了每個(gè)節(jié)點(diǎn)祖先的id。

動(dòng)態(tài)屬性：可以為不同的動(dòng)態(tài)屬性添加索引，如果需要將屬性圈在一個(gè)范圍，那么可以通過key-value的方式，然后在統(tǒng)一的key上面加索引。

關(guān)于事務(wù)：如果需要事務(wù)支持，那么只能選擇另一種數(shù)據(jù)庫(kù)，或者提供補(bǔ)償性事務(wù)來解決事務(wù)的問題。

在關(guān)于schema 的設(shè)計(jì)中要注意一些原則，比如：

不能創(chuàng)建沒用的索引

不能在同一個(gè)字段中存不同的類型

不能把多類實(shí)體都放在一個(gè)集合里 不能創(chuàng)建體積大、嵌套深的文檔

不能過多的創(chuàng)建集合，集合、索引、數(shù)據(jù)庫(kù)的命名空間都是有限的

不能創(chuàng)建無法分片的集合

4.關(guān)注MongoDB里面一些具體細(xì)節(jié)

（1）關(guān)注數(shù)據(jù)庫(kù)的概念

數(shù)據(jù)庫(kù)是集合的邏輯與物理分組，MongoDB沒有提供創(chuàng)建數(shù)據(jù)庫(kù)的語法，只有在插入集合時(shí)，數(shù)據(jù)庫(kù)才開始建立。創(chuàng)建數(shù)據(jù)庫(kù)后會(huì)在磁盤分配一組數(shù)據(jù)文件，所有集合、索引和數(shù)據(jù)庫(kù)的其他元數(shù)據(jù)都保存在這些文件中，查閱數(shù)據(jù)庫(kù)使用磁盤狀態(tài)可通過。

db.stats()

（2）關(guān)注集合概念

集合是結(jié)構(gòu)上或概念上相似得文檔的容器，集合的名稱可以包含數(shù)字、字母或 . 符號(hào)，但必須以字母或數(shù)字開頭，完全。

限定集合名不能超過128個(gè)字符，實(shí)際上 . 符號(hào)在集合中很有用，能提供某種虛擬命名空間，這是一種組織上的原則，和其他集合是一視同仁的。在集合中可以使用。

system.namespaces?//查詢當(dāng)前數(shù)據(jù)庫(kù)中定義的所有命名空間

system.indexes?//存儲(chǔ)當(dāng)前數(shù)據(jù)庫(kù)的所有索引定義

（3）關(guān)注文檔

其次是鍵值，在MongoDB里面所有的字符串都是UTF-8類型。數(shù)字類型包括double、int、long。日期類型都是UTC格式，所以在MongoDB里面看到的時(shí)間會(huì)比北京時(shí)間慢8小時(shí)。整個(gè)文檔大小會(huì)限制在16m以內(nèi)，因?yàn)檫@樣可以防止創(chuàng)建難看的數(shù)據(jù)類型，且小文檔可以提升性能，批量插入文檔理想數(shù)字范圍是10~200，大小不能超過16MB。

五、

索引與查詢優(yōu)化

1.索引的經(jīng)驗(yàn)法則

（1）索引能顯著減少獲取文檔的所需工作量，具體的對(duì)比可以通過?.explain()方法進(jìn)行對(duì)比

（2）解析查詢時(shí)MongoDB通過最優(yōu)計(jì)劃選擇一個(gè)索引進(jìn)行查詢，當(dāng)沒有最適合索引時(shí)，會(huì)先不同的使用各個(gè)索引進(jìn)行查詢，最終選出一個(gè)最優(yōu)索引做查詢

（3）如果有一個(gè)a-b的復(fù)合索引，那么僅針對(duì)a的索引是冗余的

（4）復(fù)合索引里的鍵的順序是很重要的

2.索引類型

（1）單鍵索引

（2）復(fù)合索引

（3）唯一性索引

（4）稀疏索引

如索引的字段會(huì)出現(xiàn)null的值，或是大量文檔都不包含被索引的鍵。

3.索引的構(gòu)建問題

如果數(shù)據(jù)集很大時(shí)，構(gòu)建索引將會(huì)花費(fèi)很長(zhǎng)的時(shí)間，且會(huì)影響程序性能，可通過

db.currentOp()?//查看索引的構(gòu)建時(shí)間

當(dāng)使用 mongorestore 時(shí)會(huì)重新構(gòu)建索引。當(dāng)曾經(jīng)執(zhí)行過大規(guī)模的刪除時(shí)，可使用

db.values.reIndex()

對(duì)索引進(jìn)行壓縮，重建。

4.識(shí)別慢查詢

（1）查閱慢查詢?nèi)罩?/p>

grep?-E?'([0-9])+ms'?mongod.log?//使用grep?命令?識(shí)別命令信息

db.setProfillingLevel(2)?//使用解刨器，將記錄每次的讀寫到日志

db.setProfillingLevel(1)?//只記錄慢（100ms）操作

（2）分析慢查詢

db.values.find({}).sort({close:-1}).limit(1).explain()

scanOrder 字段表明沒有使用索引

cursor當(dāng)沒有索引時(shí)，用的是BasicCursor，當(dāng)使用索引時(shí)使用的是BtreeCursor

n 表示需要返回的結(jié)果集

nscanned表示需要遍歷的文檔數(shù) indexBounds 表示索引邊界

注意新版本的MongoDB 的explain方法是需要參數(shù)的，不然只顯示普通的信息。

六、

MongoDB副本集

本節(jié)同樣主要簡(jiǎn)單呈現(xiàn)MongoDB副本集搭建的簡(jiǎn)易性，與副本集的強(qiáng)壯性，監(jiān)控容易性

1.為什么要使用副本集

提供主從復(fù)制能力，熱備能力，故障轉(zhuǎn)移能力

2.構(gòu)建方式

rs.initiate()

rs.add("localhost:40001")

rs.add("localhost:40002",{arbiterOnly:true})

3.監(jiān)控

db.isMasrter()

rs.status()

4.副本集的工作原理

實(shí)際上MongoDB對(duì)副本集的操作跟mysql主從操作是差不多的，先看一下mysql的主從數(shù)據(jù)流動(dòng)過程

主binlog?->?從relay.log?->?從bin.log?->?從數(shù)據(jù)庫(kù)

而MongoDB主要依賴的日志文件是oplog

主oplog?->?從oplog

寫操作先被記錄下來，添加到主節(jié)點(diǎn)的oplog里。與此同時(shí)，所有從結(jié)點(diǎn)復(fù)制oplog。首先，查看自己oplog里最后一條的時(shí)間戳；其次，查詢主節(jié)點(diǎn)oplog里所有大于此時(shí)間戳的條目;最后，把那些條目添加到自己的oplog里并應(yīng)用到自己的庫(kù)里。從節(jié)點(diǎn)使用長(zhǎng)輪詢立即應(yīng)用來自主結(jié)點(diǎn)oplog的新條目。

當(dāng)遇到以下情況，從節(jié)點(diǎn)會(huì)停止復(fù)制

如果從節(jié)點(diǎn)在主節(jié)點(diǎn)的oplog里找不到它所同步的點(diǎn)，那么會(huì)永久停止復(fù)制

一旦某個(gè)從節(jié)點(diǎn)沒能 在主節(jié)點(diǎn)的oplog里找到它已經(jīng)同步的點(diǎn)，就無法再保證這個(gè)從結(jié)點(diǎn)的完美副本

local數(shù)據(jù)庫(kù)保存了所有副本集元素?fù)?jù)和oplog日志

replset.minvalid 包含指定副本集成員的初始化同步信息

system.replset 保存在副本集配置文檔

system.indexes 標(biāo)準(zhǔn)索引說明容器

me slaves 主要用于寫關(guān)注

可以使用以下命令查看復(fù)制情況

db.oplog.rs.findOne()

ts 保存了該條目的BSON時(shí)間戳

t 是從紀(jì)元開始的描述

i是計(jì)數(shù)器

op 表示操作碼

ns 標(biāo)明了有關(guān)的命名空間

5.心跳檢測(cè)

每個(gè)副本集成員每秒鐘ping一次其他所有成員，可以通過rs.status()看到節(jié)點(diǎn)上次的心跳檢測(cè)時(shí)間戳和健康狀況。

6.故障轉(zhuǎn)移

這個(gè)點(diǎn)沒必要過多描述，但是有一個(gè)特殊場(chǎng)景，如果從節(jié)點(diǎn)和仲裁節(jié)點(diǎn)都被殺了，只剩下主節(jié)點(diǎn)，他會(huì)把自己降級(jí)成為從節(jié)點(diǎn)。

7.提交與回滾

如果主節(jié)點(diǎn)的數(shù)據(jù)還沒有寫到從庫(kù)，那么數(shù)據(jù)不能算提交，當(dāng)該主節(jié)點(diǎn)變成從節(jié)點(diǎn)時(shí)，便會(huì)觸發(fā)回滾，那些沒寫到從庫(kù)的數(shù)據(jù)將會(huì)被刪除，可以通過rollback子目錄中的BSON文件恢復(fù)回滾的內(nèi)容。

8.驅(qū)動(dòng)與復(fù)制

（1）使用單節(jié)點(diǎn)鏈接

只能鏈接到主節(jié)點(diǎn)，如果鏈接到從節(jié)點(diǎn)的話，會(huì)被拒絕寫入操作，但是如果沒有使用安全模式，因?yàn)閙ongo的fire and forget 特性，會(huì)把拒絕寫入的異常給吃掉。

（2）使用副本集方式鏈接

能根據(jù)寫入的情況自動(dòng)進(jìn)行故障轉(zhuǎn)移，但是當(dāng)副本集進(jìn)行新的選舉時(shí)，還是會(huì)出現(xiàn)故障，如果不使用安全模式，依舊會(huì)出現(xiàn)寫不進(jìn)去，但現(xiàn)實(shí)成功的情況。

（3）寫關(guān)注

可以使用寫關(guān)注來關(guān)注數(shù)據(jù)是否已經(jīng)被寫入MongoDB的庫(kù)中，使用寫關(guān)注會(huì)消耗性能，需要在速度和持久性之間做出權(quán)衡。

七、

分片

分片是數(shù)據(jù)庫(kù)切分的一個(gè)概念實(shí)現(xiàn)，這里也是簡(jiǎn)單總結(jié)為什么要使用分片以及分片的原理，操作。

1.為什么需要分片

當(dāng)數(shù)據(jù)量過大，索引和工作數(shù)據(jù)集占用的內(nèi)存就會(huì)越來越多，所以需要通過分片負(fù)載來解決這個(gè)問題

2.分片的工作原理

（1）分片組件

分片：每個(gè)分片都是一個(gè)副本集

mongos路由器：是一個(gè)路由器，將讀寫請(qǐng)求指引到合適的分片上

配置服務(wù)器config：持久化分片集群的元數(shù)據(jù)，包括：全局集群配置；每個(gè)數(shù)據(jù)庫(kù)、集合和特定范圍數(shù)據(jù)位置；一份變更記錄，保存了數(shù)據(jù)在分片之間進(jìn)行遷移的歷史信息。配置服務(wù)器之間不是副本集形式存在，mongos向配置服務(wù)器提交信息時(shí)是兩階段提交，保證配置服務(wù)器之間的一致性。

（2）分片的核心操作

分片一個(gè)集合：分片是根據(jù)一個(gè)屬性的范圍進(jìn)行劃分的，MongoDB使用所謂的分片鍵讓每個(gè)文檔在這些范圍里找到自己的位置

塊：是位于一個(gè)分片中的一段連續(xù)的分片鍵范圍，可以理解為若干個(gè)塊組成分片，分片組成MongoDB的全部數(shù)據(jù)

（3）拆分與遷移

塊的拆分：初始化時(shí)只有一個(gè)塊，達(dá)到最大塊尺寸64MB或100000個(gè)文檔就會(huì)觸發(fā)塊的拆分。把原來的范圍一分為二，這樣就有了兩個(gè)塊，每個(gè)塊都有相同數(shù)量的文檔。

遷移：當(dāng)分片中的數(shù)據(jù)大小不一時(shí)會(huì)產(chǎn)生遷移的動(dòng)作，比如分片A的數(shù)據(jù)比較多，會(huì)將分片A里面的一些塊轉(zhuǎn)移到分片B里面去。分片集群通過在分片中移動(dòng)塊來實(shí)現(xiàn)均衡，是由名為均衡器的軟件進(jìn)程管理的，任務(wù)是確保數(shù)據(jù)在各個(gè)分片中保持均勻分布，當(dāng)集群中擁有塊最多的分片與擁有塊最少分片的塊差大于8時(shí)，均衡器就會(huì)發(fā)起一次均衡處理。

3.分片實(shí)戰(zhàn)

啟動(dòng)兩個(gè)副本集、三個(gè)配置服務(wù)器、一個(gè)mongos進(jìn)程

配置分片

sh.help()?//查看分片相關(guān)幫助

sh.addShard()?//添加分片

db,getSiblingDB("config").shards.find()?//查看分片列表

sh.status()?//分片詳情

sh.enableSharding("cloud-docs")?//開啟一個(gè)數(shù)據(jù)庫(kù)上的分片

db.getSiblingDB("config").databases,find()?//查看數(shù)據(jù)庫(kù)列表

sh.shardCollection("cloud-docs.spreadsheets",{username:1,_id:1})?//使用一個(gè)分片鍵定義一個(gè)分片集合spreadsheets，根據(jù)用戶名進(jìn)行切分

sh.getSiiblingDB("config").collections.findOne()?//查看集合列表

db.chunks.count()?//查看塊的個(gè)數(shù)

db.chunks.findOne()?//查看塊的信息

db.changelog.count(}what:"split"|)?//查看塊切分日志

db.changelog.find({what:"moveChunk.commit"}).count()?//查看日志遷移記錄

4.分片的查詢與索引

（1）分片查詢類型

針對(duì)性查詢：查詢包含分片鍵

全局查詢或分散/聚集查：查詢不包含分片鍵

查詢過程：通過分片鍵將查詢路由給指定分片，一旦到了某個(gè)分片上，由分片自行決定使用哪個(gè)索引來執(zhí)行該查詢

（2）索引

每個(gè)分片都維護(hù)了自己的索引，當(dāng)在分片集合上聲明索引時(shí)，每個(gè)分片都會(huì)為它那部分集合構(gòu)建獨(dú)立的索引，每個(gè)分片上的分片集合都應(yīng)該擁有相同的索引。

分片集合只允許在_id字段和分片鍵上添加唯一性索引，其他地方不行，因?yàn)檫@需要在分片間進(jìn)行通信，實(shí)施起來很復(fù)雜。

當(dāng)創(chuàng)建分片時(shí)，會(huì)根據(jù)分片鍵創(chuàng)建一個(gè)索引。

5.選擇分片鍵

（1）分片鍵是不可修改的、分片鍵的選擇非常重要

（2）低效的分片鍵

分布性差：如使用BSON對(duì)象ID，那么會(huì)導(dǎo)致所有最新插入的文檔都會(huì)落到某個(gè)很小的連續(xù)范圍，無法分散插入

缺乏局部性：升序分片鍵有明確的方向，完全隨機(jī)的分片鍵則根本沒有方向。前者無法分散插入，后者插入分散，如使用MD5作為分片鍵

（3）理想的分片鍵

將插入數(shù)據(jù)均勻分布到各個(gè)分片上

保證CRUD操作能夠利用局部性 有足夠的粒度進(jìn)行塊拆分

滿足這些要求的分片鍵通常由兩個(gè)字段組成，第一個(gè)是粗粒度的，第二個(gè)粒度較細(xì)

6.生產(chǎn)環(huán)境中的分片

（1）部署拓?fù)?/b>

復(fù)制mongod：需要獨(dú)立的部署服務(wù)器

配置服務(wù)器：配置服務(wù)器不需要有自己的機(jī)器

根據(jù)不同的數(shù)據(jù)中心劃分

（2）最低要求

副本集每個(gè)成員，無論是完整的副本集節(jié)點(diǎn)還是仲裁節(jié)點(diǎn)，都需要放在不同的機(jī)器上 每個(gè)用于復(fù)制的副本集成員都需要有自己的機(jī)器

副本集仲裁節(jié)點(diǎn)很輕量級(jí)，和其他進(jìn)程共用一臺(tái)機(jī)器即可

配置服務(wù)器也可以選擇與其他進(jìn)程共用一臺(tái)機(jī)器

（3）配置的注意事項(xiàng)

需要估計(jì)集群大小，可使用以下命令對(duì)現(xiàn)有集合進(jìn)行分片處理

sh.splitAt("cloud-docs.spreadsheets",{"username":"chen","_id":ObjectId("")})

//手動(dòng)拆分塊

sh.moveChunk("cloud-docs.spreadsheets",{username:"chen"},"shardB")

//手動(dòng)將某分塊移至分片B

db.runCommand({removeshard:"shard-1/arete:30100,arete:30101"})

//刪除分片

db.runCommand({moveprimary:"test",to:"shard-0-test-rs"});

//移動(dòng)主分片

（4）備份分片集群

備份分片時(shí)需要停止均衡器

db.settings.update({_id:"ba;ancer"},{$set:{stopped:true},true});

sh.setBalancerState(false)；

//停止均衡器，此時(shí)均衡器將進(jìn)行最后一輪均衡

db.locks.find({_id:"balancer"});

sh.isBalancerRunning();

//查看均衡器狀態(tài)，任何狀態(tài)大于0?的狀態(tài)值都說明均衡器仍在進(jìn)行中

八、

部署與管理

1.部署

（1）部署架構(gòu)

使用64位機(jī)器、32位機(jī)器會(huì)制約mongodb的內(nèi)存，使其最大值為1.5GB

（2）cpu

mongodb 只有當(dāng)索引和工作集都可放入內(nèi)存時(shí)，才會(huì)遇到CPU瓶頸，CPU在mongodb使用中的作用是用來檢索數(shù)據(jù)，如果看到CPU使用飽和的情況，可以通過查詢慢查詢?nèi)罩?，排查是不是查詢的問題導(dǎo)致的，如果是可以通過添加索引來解決問題

mongodb寫入數(shù)據(jù)時(shí)會(huì)使用到CPU，但是mongodb寫入時(shí)間一次只用到一個(gè)核，如果有頻繁的寫入行為，可以通過分片來解決這個(gè)問題

（3）內(nèi)存

大內(nèi)存是mongodb的保障，如果工作集大小超過內(nèi)存，將會(huì)導(dǎo)致性能下降，因?yàn)檫@將會(huì)增加數(shù)據(jù)加載入內(nèi)存的動(dòng)作

（4）硬盤

mongodb默認(rèn)每60s會(huì)與磁盤強(qiáng)制同步一次，稱為后臺(tái)刷新，會(huì)產(chǎn)生I/O操作。在重啟時(shí)mongodb會(huì)將磁盤里面的數(shù)據(jù)加載至內(nèi)存，高速磁盤將會(huì)減少同步的時(shí)間

（5）文件系統(tǒng)

使用ext4 和 xfs 文件系統(tǒng)

禁用最后訪問時(shí)間

vim?/etc/fstab

（6）文件描述符

linux 默認(rèn)文件描述符是1024，需要大額度的提升這個(gè)額度

（7）時(shí)鐘

mongodb各個(gè)節(jié)點(diǎn)服務(wù)器之間使用ntp服務(wù)器

2.安全

（1）綁定IP

啟動(dòng)時(shí)使用 - -bind_ip 命令

（2）身份驗(yàn)證

啟動(dòng)時(shí)使用 - -auth 命令

db.addUser("","",true)

//創(chuàng)建用戶，最后一個(gè)參數(shù)指定是否只讀

（3）副本集身份認(rèn)證

使用keyFile，注意keyFile文件的權(quán)限必須是600，不然會(huì)啟動(dòng)不起來

3.數(shù)據(jù)的導(dǎo)入與導(dǎo)出

mongoimport

mongoexport

4.服務(wù)器配置

（1）拓?fù)浣Y(jié)構(gòu)

搭建副本集至少需要兩個(gè)節(jié)點(diǎn)，其中仲裁結(jié)點(diǎn)不需要有自己的服務(wù)器

（2）Journaling日志

寫數(shù)據(jù)時(shí)會(huì)先寫入日志，而此時(shí)的數(shù)據(jù)也不是直接寫入硬盤，而是寫入內(nèi)存

但是Journaling日志會(huì)消耗內(nèi)存，所以可以在主庫(kù)上面關(guān)閉，在從庫(kù)上面啟動(dòng)

可以單獨(dú)為Journaling日志使用一塊固態(tài)硬盤

在插入時(shí)，可以通過驅(qū)動(dòng)確保Journaling插入后再反饋，但是會(huì)非常影響性能。

5.日志

logpath 選項(xiàng)指定日志存儲(chǔ)地址

-vvvvv 選項(xiàng)（v越多，輸出越詳細(xì)）

db.runCommand({logrotare:1}) 開啟滾動(dòng)日志

6.數(shù)據(jù)庫(kù)監(jiān)控命令

（1）serverStatus

這里寫圖片描述

globalLock 表示服務(wù)器花在寫鎖上面的總時(shí)間

mem顯示了如何使用內(nèi)存

bits 表明這臺(tái)機(jī)器的位長(zhǎng)

resident 表示占用物理內(nèi)存數(shù)量

virtual 表示使用的虛擬內(nèi)存

（2）top

（3）db.currentOp()

7.mongostat

動(dòng)態(tài)展示mongodb活動(dòng)數(shù)據(jù)

8.web控制臺(tái)

占用當(dāng)前mongodb監(jiān)聽端口往上1000號(hào)的端口

9.備份與恢復(fù)

（1）mongodump

把數(shù)據(jù)庫(kù)內(nèi)容導(dǎo)出成BSON文件，而mongorestore能讀取并還原這些文件

（2）mongorestore

把導(dǎo)出的BSON文件還原到數(shù)據(jù)庫(kù)

（3）備份原始數(shù)據(jù)文件

可以這么做，但是，操作之前需要進(jìn)行鎖庫(kù)處理?db.runCommand({fsync:1,lock:true})

db.$cmd.sys.unlock.findOne()?請(qǐng)求解鎖操作，但是數(shù)據(jù)庫(kù)不會(huì)立刻解鎖，需要使用db.currentOp()驗(yàn)證。

10.壓緊與修復(fù)

（1）修復(fù)

mongd --repair?修復(fù)所有數(shù)據(jù)庫(kù)

db.runCommand({repairDatabase:1})?修復(fù)單個(gè)數(shù)據(jù)庫(kù)

修復(fù)就是根據(jù)Jourling文件讀取和重寫所有數(shù)據(jù)文件并重建各個(gè)索引

（2）壓緊

db.spreadsheets.reIndex()?//重建索引

db.runCommand({compact:"spreadsheets"})

壓緊，會(huì)重寫數(shù)據(jù)文件，并重建集合的全部索引，需要停機(jī)或者在從庫(kù)上面運(yùn)行,如果需要在主庫(kù)上面運(yùn)行，需要添加force參數(shù) 保證加寫鎖。

11.性能調(diào)優(yōu)

（1）監(jiān)控磁盤狀態(tài)

iostat

（2）為提升性能檢查索引和查詢

總的來說，掃描盡可能少的文檔。

保證沒有冗余的索引，冗余的索引會(huì)占用磁盤空間、消耗更多的內(nèi)存，在每次寫入時(shí)還需做更多工作

（3）添加內(nèi)存

db.stats()?//查看數(shù)據(jù)庫(kù)數(shù)據(jù)占用大小狀態(tài)

dataSize 數(shù)據(jù)大小 和 indexSize 索引大小，如果兩者的和大于內(nèi)存，那么將會(huì)影響性能。

storageSize超過dataSize 數(shù)據(jù)大小 兩倍以上，就會(huì)因磁盤碎片而影響性能，需要壓縮。

關(guān)注公眾號(hào)領(lǐng)資料

搜索公眾號(hào)【Java耕耘者】,回復(fù)【Java】，即可獲取大量?jī)?yōu)質(zhì)電子書和一份Java高級(jí)架構(gòu)資料、Spring源碼分析、Dubbo、Redis、Netty、zookeeper、Spring cloud、分布式等視頻資料