1、簡述存儲系統(tǒng)的三種分類及KV模型
存儲系統(tǒng)的三種分類
1).對象存儲
通常意義的鍵值存儲，其接口就是簡單的GET、PUT、DEL 和其他擴展，代表主要有 Swift 、S3 以及 Gluster 等；
2).塊存儲
這種接口通常以 QEMU Driver 或者 Kernel Module 的方式存在，這種接口需要實現(xiàn) Linux 的 Block Device 的接口或者 QEMU 提供的 Block Driver 接口，如 Sheepdog，AWS 的 EBS，青云的云硬盤和阿里云的盤古系統(tǒng)，還有 Ceph 的 RBD（RBD是Ceph面向塊存儲的接口）。在常見的存儲中 DAS、SAN 提供的也是塊存儲；
3).文件存儲
通常意義是支持 POSIX 接口，它跟傳統(tǒng)的文件系統(tǒng)如 Ext4 是一個類型的，但區(qū)別在于分布式存儲提供了并行化的能力，如 Ceph 的 CephFS (CephFS是Ceph面向文件存儲的接口)，但是有時候又會把 GlusterFS ，HDFS 這種非POSIX接口的類文件存儲接口歸入此類。當然 NFS、NAS也是屬于文件系統(tǒng)存儲；
kv模型的數(shù)據(jù)庫
這一類數(shù)據(jù)庫主要會使用到哈希表，在這個表中有一個特定的鍵和一個指針指向特定的數(shù)據(jù)。Key/value模型對于IT系統(tǒng)來說優(yōu)勢在于簡單、易部署。但是如果DBA只對部分值進行查詢或更新的時候，Key/value就顯得效率低下了。
key value：鍵值存儲，最著名產(chǎn)品的是DynamoDB, redis
內存數(shù)據(jù)庫從范型上可以分為關系型內存數(shù)據(jù)庫和鍵值型內存數(shù)據(jù)庫。
在實際應用中內存數(shù)據(jù)庫主要是配合oracle或mysql等大型關系數(shù)據(jù)庫使用，關注性能。
作用類似于緩存，并不注重數(shù)據(jù)完整性和數(shù)據(jù)一致性。
基于鍵值型的內存數(shù)據(jù)庫比關系型更加易于使用，性能和可擴展性更好，因此在應用上比關系型的內存數(shù)據(jù)庫使用更多。
1).Memcached
Memcached是一種基于Key-Value開源緩存服務器系統(tǒng)，主要用做數(shù)據(jù)庫的數(shù)據(jù)高速緩沖，并不能完全稱為數(shù)據(jù)庫。
memcached的API使用三十二位元的循環(huán)冗余校驗（CRC-32）計算鍵值后，將資料分散在不同的機器上。當表格滿了以后，接下來新增的資料會以LRU機制替換掉。由于 memcached通常只是當作緩存系統(tǒng)使用，所以使用memcached的應用程式在寫回較慢的系統(tǒng)時（像是后端的數(shù)據(jù)庫）需要額外的程序更新memcached內的資料。
2).Redis
Redis是一個高性能的key-value數(shù)據(jù)庫。redis的出現(xiàn)，很大程度補償了memcached這類keyvalue存儲的不足，在部分場合可以對關系數(shù)據(jù)庫起到很好的補充作用。它提供了C++、Java、Python，Ruby，Erlang，PHP客戶端。
2、搭建redis服務并實現(xiàn)持久化存儲、訂閱和復制功能
1).發(fā)布信息
命令:publish channle message
2).訂閱信息
命令:subscribe channle1 channel2 ...
3).注意
一、接收消息，必須先訂閱消息
二、訂閱之前，發(fā)布的消息無法接收到
4).使用通配符訂閱信息
命令：psubscribe pattern1 pattern2 ...
5).redis 持久化
持久化的方式
主從：通過從服務器保存和持久化
日志：操作生成相關日志，并通過日志恢復數(shù)據(jù)
redis持久化方式
rdb:快照持久化。
aof:日志持久化
redis-rdb快照持久化配置,redis.conf文件
save 900 1 #900秒之后至少一個關鍵字發(fā)生變化，刷新快照到硬盤上
save 300 10 #300秒之后至少十個關鍵字發(fā)生變化，刷新快照到硬盤上
save 60 10000 #60秒之后至少10000個關鍵字發(fā)生變化，刷新快照到硬盤上
stop-writes-on-bgsave-error yes #后臺存儲錯誤時停止寫操作
rdbchecksum yes #存儲和加載rdb文件的時候校驗
rdbcompression yes #使用LZF壓縮rdb文件
dbfilename dump.rdb #設置rdb文件名
dir ./ #設置工作目錄，rdb文件會寫入到該目錄
redis-rdb快照持久化的缺陷
由于rdb持久化方式是通過在某些時間點檢查是否滿足持久化要求的條件，從而判斷是否進行持久化，這樣的話如果在的時間點發(fā)生異常，但是還沒有達到持久化要求，這樣會使得數(shù)據(jù)丟失。
redis-aof日志持久化配置，redis.conf文件
appendonly no #是否打開aof日志功能，yes打開，no關閉
appendfilename "appendonly.aof" #日志文件名稱
appendfsync always # 寫入日志文件的時機配置，always：每一個命令都立即同步到aof，安全，速度慢；everysec：每一秒鐘寫一次;no：寫入的工作交給操作系統(tǒng)，由操作系統(tǒng)判斷緩沖區(qū)的大小統(tǒng)一寫入到aof日志，同步頻率低，速度快
no-appendfsync-on-rewrite no # 正在導出rdb的過程中要不要停止同步aof。no：不停止；yes：停止
auto-aof-rewrite-percentage 100 #aof文件大小比重寫時的大小增長率100%時重寫
auto-aof-rewrite-min-size 64mb #aof文件至少超過64M時重寫
3、簡述通用的分布式存儲及專用的分布式存儲
參考鏈接：
https://blog.csdn.net/qq_15103197/article/details/82876688
https://blog.csdn.net/xuensong520/article/details/48269477
一、專用分布式存儲系統(tǒng)
1、最早的分布式系統(tǒng)：Google File System： GFS Google的第一代分布式系統(tǒng)
Google公司為了滿足本公司需求而開發(fā)的基于Linux的專有分布式文件系統(tǒng)。一 個GFS集群由一個master和大量的chunkserver構成，并被許多客戶（Client）訪問。
一個GFS包括一個主服務器（master）和多個塊服務器（chunk server），這樣一個GFS能夠同時為多個客戶端應用程序（Application）提供文件服務。文件被劃分為固定的塊，由主服務器安排存放到塊服務器的本地硬盤上。主服務器會記錄存放位置等數(shù)據(jù)，并負責維護和管理文件系統(tǒng)，包括塊的租用、垃圾塊的回收以及塊在不同塊服務器之間的遷移。此外，主服務器還周期性地與每個塊服務器通過消息交互，以監(jiān)視運行狀態(tài)或下達命令。應用程序通過與主服務器和塊服務器的交互來實現(xiàn)對應用數(shù)據(jù)的讀寫，應用與主服務器之間的交互僅限于元數(shù)據(jù)，也就是一些控制數(shù)據(jù)，其他的數(shù)據(jù)操作都是直接與塊服務器交互的。這種控制與業(yè)務相分離的架構，在互聯(lián)網(wǎng)產(chǎn)品方案上較為廣泛，也較為成功。
2、Hadoop Distributed FileSystem 仿照google分布式系統(tǒng)
Hadoop 實現(xiàn)了一個分布式文件系統(tǒng)（Hadoop Distributed File System），簡稱HDFS。 Hadoop是Apache Lucene創(chuàng)始人Doug Cutting開發(fā)的使用廣泛的文本搜索庫。
Hadoop 由許多元素構成。其最底部是 Hadoop Distributed File System（HDFS），它存儲 Hadoop 集群中所有存儲節(jié)點上的文件。HDFS的上一層是MapReduce引擎，該引擎由 JobTrackers 和 TaskTrackers 組成。通過對Hadoop分布式計算平臺最核心的分布式文件系統(tǒng)HDFS、MapReduce處理過程，以及數(shù)據(jù)倉庫工具Hive和分布式數(shù)據(jù)庫Hbase的介紹，基本涵蓋了Hadoop分布式平臺的所有技術核心。
HDFS對外部客戶機而言，就像一個傳統(tǒng)的分級文件系統(tǒng)。可以創(chuàng)建、刪除、移動或重命名文件，等等。但是 HDFS 的架構是基于一組特定的節(jié)點構建的，這是由它自身的特點決定的。這些節(jié)點包括 NameNode（僅一個），它在 HDFS 內部提供元數(shù)據(jù)服務；DataNode，它為 HDFS 提供存儲塊。由于僅存在一個 NameNode，因此這是 HDFS 的一個缺點（單點失?。?。
存儲在 HDFS 中的文件被分成塊，然后將這些塊復制到多個計算機中（DataNode）。這與傳統(tǒng)的 RAID 架構大不相同。塊的大?。ㄍǔ?64MB）和復制的塊數(shù)量在創(chuàng)建文件時由客戶機決定。NameNode 可以控制所有文件操作。HDFS 內部的所有通信都基于標準的 TCP/IP協(xié)議。
3、TFS:Taobao Filesystem 淘寶分布式系統(tǒng)
- TFS（Taobao FileSystem）是一個高可擴展、高可用、高性能、面向互聯(lián)網(wǎng)服務的分布式文件系統(tǒng)，主要針對海量的非結構化數(shù)據(jù)，它構筑在普通的Linux機器 集群上，可為外部提供高可靠和高并發(fā)的存儲訪問。
- TFS為淘寶提供海量小文件存儲，通常文件大小不超過1M，滿足了淘寶對小文件存儲的需求，被廣泛地應用 在淘寶各項應用中。它采用了HA架構和平滑擴容，保證了整個文件系統(tǒng)的可用性和擴展性。同時扁平化的數(shù)據(jù)組織結構，可將文件名映射到文件的物理地址，簡化 了文件的訪問流程，一定程度上為TFS提供了良好的讀寫性能。
4、GlusterFS 去中心化設計分布式系統(tǒng)
Glusterfs是一個開源的分布式文件系統(tǒng),是Scale存儲的核心,能夠處理千數(shù)量級的客戶端.在傳統(tǒng)的解決 方案中能夠靈活的結合物理的,虛擬的和云資源去體現(xiàn)高可用和企業(yè)級的性能存儲.
Glusterfs通過TCP/IP或InfiniBand RDMA網(wǎng)絡鏈接將客戶端的存儲資塊源聚集在一起,使用單一的全局命名空間來管理數(shù)據(jù),磁盤和內存資源.
Glusterfs基于堆疊的用戶空間設計,可以為不同的工作負載提供高優(yōu)的性能.
Glusterfs支持運行在任何標準IP網(wǎng)絡上標準應用程序的標準客戶端，用戶可以在全局統(tǒng)一的命名空間中使用NFS/CIFS等標準協(xié)議來訪問應用數(shù)據(jù).
5、Lustre HPC
一個具有高性能、支持高并發(fā)讀寫、文件共享的存儲系統(tǒng)。Lustre在HPC領域被廣泛使用，由于Lustre文件系統(tǒng)本身無數(shù)據(jù)安全機制，必須構建于穩(wěn)定的磁盤陣列之上，通過硬件的穩(wěn)定性來解決數(shù)據(jù)的安全性。
硬件層面可以從兩個方面來保證數(shù)據(jù)的安全性。系統(tǒng)由RAID組、節(jié)點冗余組成。這里節(jié)點冗余包括MDS和OSS節(jié)點，2個MDS節(jié)點互為active/stanby模式，兩個OSS節(jié)點均為active模式?；旧蠈崿F(xiàn)數(shù)據(jù)訪問不中斷。
6、Ceph內核級別構建分布式存儲系統(tǒng)
- Ceph是可靠的、可擴展的、統(tǒng)一的、分布式的存儲系統(tǒng)?？梢酝瑫r提供對象存儲RADOSGW（Reliable、Autonomic、Distributed、Object Storage Gateway）、塊存儲RBD（Rados Block Device）、文件系統(tǒng)存儲Ceph FS（Ceph Filesystem）3種功能。
- Ceph可以提供對象存儲、塊設備存儲和文件系統(tǒng)服務，其對象存儲可以對接網(wǎng)盤（owncloud）應用業(yè)務等；其塊設備存儲可以對接（IaaS），當前主流的IaaS運平臺軟件，如：OpenStack、CloudStack、Zstack、Eucalyptus等以及kvm等。
二、輕量級分布式存儲
1、Mogile Filesystem 分布式存儲 perl語言研發(fā)
2、Moose Filesystem （MFS）
3、fastDFS 國內開源項目 C語言研發(fā)
4、前端nginx反代后端mogilefs存儲實戰(zhàn)實例
參考文檔：
http://www.tuicool.com/articles/YniEnyf
http://joelhy.github.io/2015/01/27/FastDFS-v5-06-deploy/
https://blog.csdn.net/wangyj_bk/article/details/78858056
一、MogileFS存儲
1、MogileFS分布式文件存儲系統(tǒng)
MogileFS是一個開源的分布式文件存儲系統(tǒng)，由LiveJournal旗下的Danga Interactive公司開發(fā)。Danga團隊開發(fā)了包括 Memcached、MogileFS、Perlbal 等多個知名的開源項目。目前使用MogileFS 的公司非常多，如日本排名先前的幾個互聯(lián)公司及國內的yupoo(又拍)、digg、豆瓣、1號店、大眾點評、搜狗和安居客等，分別為所在的組織或公司管理著海量的圖片。
2、MogileFS由3個部分組成：
-
(1) server：主要包括mogilefsd和mogstored兩個應用程序。
- mogilefsd實現(xiàn)的是tracker，它通過數(shù)據(jù)庫來保存元數(shù)據(jù)信息，包括站點domain、class、host等；
- mogstored是存儲節(jié)點(store node)，它其實是個WebDAV服務，默認監(jiān)聽在7500端口，接受客戶端的文件存儲請求。在MogileFS安裝完后，要運行mogadm工具將所有的store node注冊到mogilefsd的數(shù)據(jù)庫里，mogilefsd會對這些節(jié)點進行管理和監(jiān)控。
(2) utils（工具集）：主要是MogileFS的一些管理工具，例如mogadm等。
(3) 客戶端API：MogileFS的客戶端API很多，例如Perl、PHP、Java、Python等，用這個模塊可以編寫客戶端程序，實現(xiàn)文件的備份管理功能等。
3、設備定義
存儲主機(節(jié)點)
這個是 MogileFS 存儲文件存放在這些機器上,也是 mogstored 節(jié)點,也叫 Storage Server,一臺存儲主要都要啟動一個 mogstored 服務.擴容就是增加這些機器.
設備(device)
一個存儲節(jié)點,以就是上面的主機,可以有多個 device, 就是用來存放文件的目錄(例如掛載的目錄),
每個設備都有一個設備id,需要在 mogstored 的配置文件中的 docroot 配置的項目 指定的目錄下面創(chuàng)建相應的設備的目錄,目錄名為 $docroot/dev$id,設備是不能刪除的.
只能將其設備的狀態(tài)的值置為dead,當一個設備 dead 之后,就真的 dead了,里面的數(shù)據(jù)也無法恢復了,且這個dead了的設備的 id 也不能再用.
存儲Domain域
- 一個MogileFS可以有多個Domain
- 用來存放不同的文件（大小、類型）
- 同一個Domain內，key必需唯一
- 不同的Domain內，key可以相同
存儲Class類
- 文件屬性
- 定義文件存儲在不同設備上的分數(shù)
存儲key（Fid）文件地址
- Domain和文件的key（Fid）一起定位文件位置
二、MogileFS存儲安裝
1、cpan安裝
# yum -y install make gcc unzip perl-DBD-MySQL perl perl-CPAN perl-YAML perl-Time-HiRes
# cpan
App::cpanminus
MogileFS::Server
MogileFS::Utils
IO::AIO
IO::WrapTie
Danga::Socket
2、cpanm安裝
wget http://xrl.us/cpanm -O /usr/bin/cpanm; sudo chmod +x /usr/bin/cpanm
#cpanm DBD::mysql
#cpanm MogileFS::Server
#cpanm MogileFS::Utils
#cpanm MogileFS::Client
所有的perl程序可以編譯運行：
# perl Makefile.PL
# make
# make test
# make install
# cpan -i App::cpanminus
cpan> install App:cpanminus
# cpan MogileFS::Server
conf:
/etc/mogilefs/{mogifsd.conf, mogstored.conf}
3、rpm安裝，centos6支持較好
相關rpm包下載地址：http://rpmfind.net/
http://mirrors.sahedev.com/
MogileFS-Server-2.46-2.el6.noarch.rpm
perl-Danga-Socket-1.61-1.el6.rf.noarch.rpm
MogileFS-Server-mogilefsd-2.46-2.el6.noarch.rpm
perl-MogileFS-Client-1.14-1.el6.noarch.rpm
MogileFS-Server-mogstored-2.46-2.el6.noarch.rpm
perl-Perlbal-1.78-1.el6.noarch.rpm
MogileFS-Utils-2.19-1.el6.noarch.rpm
三、nginx反代后端mogilefs存儲示例
使用CentOS 7環(huán)境部署
192.168.1.22----節(jié)點1+mysql
192.168.1.60----節(jié)點2
192.168.1.61----節(jié)點3
192.168.1.62----nginx代理
節(jié)點1
#下載程序包
wget http://mirrors.sahedev.com/MogileFS/MogileFS-Server-2.46-2.el6.noarch.rpm
wget http://mirrors.sahedev.com/MogileFS/MogileFS-Server-mogilefsd-2.46-2.el6.noarch.rpm
wget http://mirrors.sahedev.com/MogileFS/MogileFS-Server-mogstored-2.46-2.el6.noarch.rpm
wget http://mirrors.sahedev.com/MogileFS/MogileFS-Utils-2.19-1.el6.noarch.rpm
wget http://mirrors.sahedev.com/MogileFS/Perlbal-1.78-1.el6.noarch.rpm
wget http://mirrors.sahedev.com/MogileFS/perl-MogileFS-Client-1.14-1.el6.noarch.rpm
wget http://mirrors.sahedev.com/MogileFS/perl-Net-Netmask-1.9015-8.el6.noarch.rpm
wget http://mirrors.sahedev.com/MogileFS/perl-Perlbal-1.78-1.el6.noarch.rpm
wget http://rpmfind.net/linux/dag/redhat/el6/en/x86_64/dag/RPMS/perl-Danga-Socket-1.61-1.el6.rf.noarch.rpm
由于依賴于perl環(huán)境所以先安裝epel源
#安裝epel源和perl依賴包
[root@mongilefs-22 ~]# yum install epel-release
[root@mongilefs-22 ~]#yum install perl-Net-Netmask perl-IO-String perl-Sys-Syslog perl-IO-AIO -y
[root@mongilefs-22 ~]# ls
Perlbal-1.78-1.el6.noarch.rpm
perl-Danga-Socket-1.61-1.el6.rf.noarch.rpm #依賴包
perl-MogileFS-Client-1.14-1.el6.noarch.rpm #tracker組件,調度查詢管理組件
MogileFS-Server-2.46-2.el6.noarch.rpm #核心服務公共組件，都需要安裝
perl-Net-Netmask-1.9015-8.el6.noarch.rpm
MogileFS-Server-mogilefsd-2.46-2.el6.noarch.rpm
perl-Perlbal-1.78-1.el6.noarch.rpm
MogileFS-Server-mogstored-2.46-2.el6.noarch.rpm #storage存儲節(jié)點
#安裝perl的rpm包
[root@mongilefs-22 ~]# yum install ./*.rpm -y
#安裝數(shù)據(jù)庫
[root@mongilefs-22 ~]# yum install mariadb-server -y
#查看文件目錄屬主屬組
[root@mongilefs-22 ~]# ls -ld /var/run/mogilefsd/
drwxr-xr-x 2 mogilefs mogilefs 40 Oct 8 2013 /var/run/mogilefsd/
#編輯配置文件
[root@mongilefs-22 ~]# cd /etc/mogilefs/
[root@mongilefs-22 mogilefs]# cp mogilefsd.conf{,.bak}
[root@mongilefs-22 mogilefs]# vim mogilefsd.conf
daemonize = 1
pidfile = /var/run/mogilefsd/mogilefsd.pid
DBI:mysql:mogilefs:host=192.168.1.22 #驅動格式：數(shù)據(jù)庫類型：數(shù)據(jù)庫名稱：數(shù)據(jù)庫主機ip
db_user = moguser #數(shù)據(jù)庫用戶
db_pass = mogpass #數(shù)據(jù)庫密碼
listen = 0.0.0.0:7001 #監(jiān)聽端口
conf_port = 7001
query_jobs = 10
delete_jobs = 1
replicate_jobs = 5
#數(shù)據(jù)庫初始化
[root@mongilefs-22 ~]# vim /etc/my.cnf.d/server.cnf
[mysqld]
skip_name_resolve = ON
innodb_file_per_table = ON
[root@mongilefs-22 ~]# systemctl start mariadb
#自定義創(chuàng)建數(shù)據(jù)庫用戶
MariaDB [(none)]> GRANT ALL ON mogilefs.* TO 'moguser'@'192.168.1.%' IDENTIFIED BY 'mogpass';
Query OK, 0 rows affected (0.00 sec)
MariaDB [(none)]> FLUSH PRIVILEGES;
Query OK, 0 rows affected (0.00 sec)
#初始化
[root@mongilefs-22 ~]# mogdbsetup --dbhost=127.0.0.1 --dbuser=moguser --dbpass=mogpass
Continue? [N/y]: y #是否初始化數(shù)據(jù)庫
Create/Upgrade database name 'mogilefs'? [Y/n]: y #是否創(chuàng)建數(shù)據(jù)庫
Grant all privileges to user 'moguser', connecting from anywhere, to the mogilefs database 'mogilefs'? [Y/n]: y #是否創(chuàng)建數(shù)據(jù)庫用戶
#啟動mogilefsd報錯
[root@mongilefs-22 ~]# service mogilefsd start
Starting mogilefsd (via systemctl): Job for mogilefsd.service failed because a configured resource limit was exceeded. See "systemctl status mogilefsd.service" and "journalctl -xe" for details. [FAILED]
#結束mogilefsd進程并刪除pid文件
[root@mongilefs-22 ~]# killall mogilefsd
[root@mongilefs-22 ~]# rm /var/run/mogilefsd/mogilefsd.pid
rm: remove regular file ‘/var/run/mogilefsd/mogilefsd.pid’? y
[root@mongilefs-22 ~]# rm /var/lock/subsys/mogilefsd
rm: remove regular empty file ‘/var/lock/subsys/mogilefsd’? y
# 啟動
[root@mongilefs-22 ~]# service mogilefsd start
Starting mogilefsd (via systemctl): [ OK ]
#設置
[root@mongilefs-22 ~]# cd /etc/mogilefs
[root@mongilefs-22 mogilefs]# cp mogstored.conf {,.bak}
[root@mongilefs-22 mogilefs]# vim mogstored.conf
maxconns = 10000 #最大連接數(shù)
httplisten = 0.0.0.0:7500
mgmtlisten = 0.0.0.0:7501
docroot = /mogilefs/data #儲存路徑
#創(chuàng)建存儲目錄，設置屬主組為mogilefs
[root@mongilefs-22 mogilefs]# mkdir /mogilefs/data/dev1 -pv
[root@mongilefs-22 mogilefs]# chown -R mogilefs.mogilefs /mogilefs/
c
#啟動mogstored，由于centos7原因，啟動文件在init.d下啟動會報錯，所以拷貝出來啟動
[root@mongilefs-22 ~]# cp /etc/init.d/mogstored ./
[root@mongilefs-22 ~]# ./mogstored start
Starting mogstored [ OK ]
#配置文件拷貝到其他節(jié)點上
[root@mongilefs-22 ~]# scp -r /etc/mogilefs/*.conf 192.168.1.60:/etc/mogilefs/
[root@mongilefs-22 ~]# scp -r /etc/mogilefs/*.conf 192.168.1.61:/etc/mogilefs/
#當其他節(jié)點啟動后，添加主機
[root@mongilefs-22 ~]# mogadm host add 192.168.1.22 --ip=192.168.1.22 --port=7500 --status=alive
[root@mongilefs-22 ~]# mogadm host add 192.168.1.60 --ip=192.168.1.60 --port=7500 --status=alive
[root@mongilefs-22 ~]# mogadm host add 192.168.1.61 --ip=192.168.1.61 --port=7500 --status=alive
#檢查主機情況
[root@mongilefs-22 ~]# mogadm check
Checking trackers...
127.0.0.1:7001 ... OK
Checking hosts...
[ 1] 192.168.1.22 ... OK
[ 2] 192.168.1.60 ... OK
[ 3] 192.168.1.61 ... OK
#添加儲存設備
[root@mongilefs-22 ~]# mogadm device add 192.168.1.22 1
[root@mongilefs-22 ~]# mogadm device add 192.168.1.60 2
[root@mongilefs-22 ~]# mogadm device add 192.168.1.61 3
[root@mongilefs-22 ~]# mogadm device list
192.168.1.22 [1]: alive
used(G) free(G) total(G) weight(%)
dev1: alive 1.267 6.720 7.986 100
192.168.1.60 [4]: alive
used(G) free(G) total(G) weight(%)
dev2: alive 1.126 6.860 7.986 100
192.168.1.61 [5]: alive
used(G) free(G) total(G) weight(%)
dev3: alive 1.126 6.860 7.986 100
節(jié)點2和節(jié)點3配置
#同步時間
#安裝epel源
[root@node-60 ~]# yum install epel-release
[root@node-60 ~]#yum install perl-Net-Netmask perl-IO-String perl-Sys-Syslog perl-IO-AIO -y
#安裝rpm包
[root@node-60 ~]# ls
anaconda-ks.cfg
mha4mysql-node-0.56-0.el6.noarch.rpm
MogileFS-Server-2.46-2.el6.noarch.rpm
MogileFS-Server-mogilefsd-2.46-2.el6.noarch.rpm
MogileFS-Server-mogstored-2.46-2.el6.noarch.rpm
MogileFS-Utils-2.19-1.el6.noarch.rpm
percona-toolkit-3.0.12-1.el7.x86_64.rpm
Perlbal-1.78-1.el6.noarch.rpm
perl-Danga-Socket-1.61-1.el6.rf.noarch.rpm
perl-MogileFS-Client-1.14-1.el6.noarch.rpm
perl-Net-Netmask-1.9015-8.el6.noarch.rpm
perl-Perlbal-1.78-1.el6.noarch.rpm
#創(chuàng)建目錄
[root@node-60 ~]# mkdir -pv /mogilefs/data/dev2
[root@node-60 ~]# chown -R mogilefs.mogilefs /mogilefs/
#其他節(jié)點拷貝過來的配置文件，所以可以直接啟動mogstored，由于centos7原因，啟動文件在init.d下啟動會報錯，所以拷貝出來啟動
[root@node-60 ~]# cp /etc/init.d/mogstored ./
[root@node-60 ~]# ./mogstored start
Starting mogstored [ OK ]
#啟動trarkers
[root@node-60 ~]# cp /etc/init.d/mogilefsd ./
[root@node-60 ~]# ./mogilefsd start
Starting mogilefsd [ OK ]
mog工具
mogadm
mogdelete #刪除文件
mogfileinfo #看文件信息
moglistkeys #列出所有文件的鍵
mogstored
mogautomount
mogfetch #獲取文件
mogilefsd
mogrename
mogtool
mogdbsetup
mogfiledebug
moglistfids #列出所有文件的id
mogstats
mogupload #上傳文件
#文件一致性檢測
[root@mongilefs-22 ~]# mogadm fsck start | stop
#文件系統(tǒng)信息
[root@mongilefs-22 ~]# mogadm fsck status
Running: No
Status: 38 / 38 (100.00%)
Time: 5s (7 fids/s; 0s remain)
Check Type: Normal (check policy + files)
[num_POVI]: 3
#檢測結果
[root@mongilefs-22 ~]# mogadm fsck printlog
unixtime event fid devid
1542121262 POVI 38 -
1542121262 POVI 37 -
1542121262 POVI 30 -
#負載均衡策略
[root@mongilefs-22 ~]# mogadm rebalance test
#使用默認規(guī)則policy
[root@mongilefs-22 ~]# mogadm rebalance policy
#顯示負載均衡策略
[root@mongilefs-22 ~]# mogadm rebalance settings
mogilefs使用
#創(chuàng)建imgs域和text域
[root@mongilefs-22 ~]# mogadm domain add imgs
[root@mongilefs-22 ~]# mogadm domain add text
#查詢當前域，副本存儲2個
[root@mongilefs-22 ~]# mogadm domain list
domain class mindevcount replpolicy hashtype
-------------------- -------------------- ------------- ------------ -------
imgs default 2 MultipleHosts() NONE
text default 2 MultipleHosts() NONE
#在imgs域中創(chuàng)建png類，哈希類型為MD5，副本存儲3個
[root@mongilefs-22 ~]# mogadm class add imgs png --hashtype=MD5 --mindevcount=3
#在imgs域中創(chuàng)建jpg類，哈希類型為空，副本存儲2個
[root@mongilefs-22 ~]# mogadm class add imgs jpg --hashtype=NONE --mindevcount=2
#查詢當前類
[root@mongilefs-22 ~]# mogadm class list
domain class mindevcount replpolicy hashtype
-------------------- -------------------- ------------- ------------ -------
imgs default 2 MultipleHosts() NONE
imgs jpg 2 MultipleHosts() NONE
imgs png 3 MultipleHosts() MD5
text default 2 MultipleHosts() NONE
mog上傳文件
#上傳圖片文件到imgs域，key為1.jpg
[root@mongilefs-22 ~]# mogupload --trackers=192.168.1.22 --domain=imgs --key='1.jpg' --file='/usr/share/kde4/apps/ksplash/Themes/CentOS7/2560x1600/background.jpg'
#查詢上傳圖片位置
[root@mongilefs-22 ~]# mogfileinfo --trackers=192.168.1.22 --domain=imgs --key='1.jpg'
- file: 1.jpg
class: default
devcount: 1
domain: imgs
fid: 30
key: 1.jpg
length: 961243
- http://192.168.1.61:7500/dev3/0/000/000/0000000030.fid
#文件id位置，存儲到節(jié)點2服務器上
#上傳圖片文件到imgs域，jpg類中，key為2.jpg
[root@mongilefs-22 ~]# mogupload --trackers=192.168.1.22 --domain=imgs --class=jpg --key='2.jpg' --file='/usr/share/wallpapers/CentOS7/contents/images/2560x1600.jpg'
[root@mongilefs-22 ~]# mogfileinfo --trackers=192.168.1.22 --domain=imgs --key='2.jpg'
- file: 2.jpg
class: jpg
devcount: 1
domain: imgs
fid: 31
key: 2.jpg
length: 961243
- http://192.168.1.60:7500/dev2/0/000/000/0000000031.fid
#文件id位置，存儲到節(jié)點1服務器上
測試兩個tracker可用
#查詢節(jié)點1
[root@node-60 ~]# mogrileinfo --trackers=192.168.1.60 --domain=imgs --key='2.jpg'
-bash: mogrileinfo: command not found
[root@node-60 ~]# mogfileinfo --trackers=192.168.1.60 --domain=imgs --key='2.jpg'
- file: 2.jpg
class: jpg
devcount: 1
domain: imgs
fid: 31
key: 2.jpg
length: 961243
- http://192.168.1.60:7500/dev2/0/000/000/0000000031.fid
##查詢節(jié)點2，得到結果和節(jié)點1一致，證明兩個tracker節(jié)點正?？捎?[root@node-60 ~]# mogfileinfo --trackers=192.168.1.61 --domain=imgs --key='2.jpg'
- file: 2.jpg
class: jpg
devcount: 1
domain: imgs
fid: 31
key: 2.jpg
length: 961243
- http://192.168.1.60:7500/dev2/0/000/000/0000000031.fid
安裝nginx反代服務器
#安裝開發(fā)組件
[root@node-62 ~]# yum groupinstall "Development Tools" "Server Platform Development" -y
#安裝支持正則表達式組件
[root@node-62 ~]# yum install pcre-devel openssl-devel -y
#添加nginx用戶
[root@node-62 ~]# useradd -r nginx
[root@node-62 ~]# id nginx
uid=998(nginx) gid=996(nginx) groups=996(nginx)
#下載編譯安裝nginx
[root@node-62 ~]# wget http://nginx.org/download/nginx-1.6.3.tar.gz
[root@node-62 ~]# wget http://www.grid.net.ru/nginx/download/nginx_mogilefs_module-1.0.4.tar.gz
[root@node-62 ~]# cd nginx-1.6.3
[root@node-62 nginx-1.6.3]# ./configure \
--prefix=/usr \
--sbin-path=/usr/sbin/nginx \
--conf-path=/etc/nginx/nginx.conf \
--error-log-path=/var/log/nginx/error.log \
--http-log-path=/var/log/nginx/access.log \
--pid-path=/var/run/nginx/nginx.pid \
--lock-path=/var/lock/nginx.lock \
--user=nginx \
--group=nginx \
--with-http_ssl_module \
--with-http_flv_module \
--with-http_stub_status_module \
--with-http_gzip_static_module \
--http-client-body-temp-path=/var/tmp/nginx/client/ \
--http-proxy-temp-path=/var/tmp/nginx/proxy/ \
--http-fastcgi-temp-path=/var/tmp/nginx/fcgi/ \
--http-uwsgi-temp-path=/var/tmp/nginx/uwsgi \
--http-scgi-temp-path=/var/tmp/nginx/scgi \
--with-pcre \
--with-debug \
--add-module=../nginx_mogilefs_module-1.0.4
#跳過編譯錯誤
[root@node-62 nginx-1.6.3]# make CFLAGS="-pipe -O -W -Wall -Wpointer-arith -Wno-unused-parameter -g"
#安裝
[root@node-62 nginx-1.6.3]# make install
#啟動nginx
[root@node-62 ~]# vim /etc/rc.d/init.d/nginx #編輯啟動腳本
#!/bin/sh
#
# nginx - this script starts and stops the nginx daemon
#
# chkconfig: - 85 15
# description: Nginx is an HTTP(S) server, HTTP(S) reverse \
# proxy and IMAP/POP3 proxy server
# processname: nginx
# config: /etc/nginx/nginx.conf
# config: /etc/sysconfig/nginx
# pidfile: /var/run/nginx.pid
# Source function library.
. /etc/rc.d/init.d/functions
# Source networking configuration.
. /etc/sysconfig/network
# Check that networking is up.
[ "$NETWORKING" = "no" ] && exit 0
nginx="/usr/sbin/nginx"
prog=$(basename $nginx)
NGINX_CONF_FILE="/etc/nginx/nginx.conf"
[ -f /etc/sysconfig/nginx ] && . /etc/sysconfig/nginx
lockfile=/var/lock/subsys/nginx
make_dirs() {
# make required directories
user=`nginx -V 2>&1 | grep "configure arguments:" | sed 's/[^*]*--user=\([^ ]*\).*/\1/g' -`
options=`$nginx -V 2>&1 | grep 'configure arguments:'`
for opt in $options; do
if [ `echo $opt | grep '.*-temp-path'` ]; then
value=`echo $opt | cut -d "=" -f 2`
if [ ! -d "$value" ]; then
# echo "creating" $value
mkdir -p $value && chown -R $user $value
fi
fi
done
}
start() {
[ -x $nginx ] || exit 5
[ -f $NGINX_CONF_FILE ] || exit 6
make_dirs
echo -n $"Starting $prog: "
daemon $nginx -c $NGINX_CONF_FILE
retval=$?
echo
[ $retval -eq 0 ] && touch $lockfile
return $retval
}
stop() {
echo -n $"Stopping $prog: "
killproc $prog -QUIT
retval=$?
echo
[ $retval -eq 0 ] && rm -f $lockfile
return $retval
}
restart() {
configtest || return $?
stop
sleep 1
start
}
reload() {
configtest || return $?
echo -n $"Reloading $prog: "
killproc $nginx -HUP
RETVAL=$?
echo
}
force_reload() {
restart
}
configtest() {
$nginx -t -c $NGINX_CONF_FILE
}
rh_status() {
status $prog
}
rh_status_q() {
rh_status >/dev/null 2>&1
}
case "$1" in
start)
rh_status_q && exit 0
$1
;;
stop)
rh_status_q || exit 0
$1
;;
restart|configtest)
$1
;;
reload)
rh_status_q || exit 7
$1
;;
force-reload)
force_reload
;;
status)
rh_status
;;
condrestart|try-restart)
rh_status_q || exit 0
;;
*)
echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}"
exit 2
esac
[root@node-62 ~]# chmod +x /etc/rc.d/init.d/nginx
[root@node-62 ~]# service nginx start
Reloading systemd: [ OK ]
#添加至服務管理列表，并讓其開機自動啟動：
[root@node-62 ~]# chkconfig --add nginx
[root@node-62 ~]# chkconfig nginx on
#編輯nginx反代規(guī)則
[root@node-62 ~]# cd /etc/nginx
[root@node-62 nginx]# cp nginx.conf{,.bak}
[root@node-62 nginx]# vim nginx.conf
......
worker_processes auto;
......
upstream mogsrvs { #定義服務器組
server 192.168.1.22:7001;
server 192.168.1.60:7001;
server 192.168.1.61:7001;
}
server {
listen 80;
server_name localhost;
#charset koi8-r;
#access_log logs/host.access.log main;
location / {
root html;
index index.html index.htm;
}
location /imgs/ {
mogilefs_tracker mogsrvs; #調用服務器組
mogilefs_domain imgs; #默認域
mogilefs_class png jpg; #默認類
mogilefs_pass {
proxy_pass $mogilefs_path;
proxy_hide_header Content-Type;
proxy_buffering off;
}
}
[root@node-62 nginx]# nginx -t #語法檢查
[root@node-62 nginx]# nginx -s reload #重載nginx
