Redis集群搭建以及Python操作集群

強烈推薦redis書籍 <<redis開發(fā)與運維>>

一. 概述.

1. 單機redis部署http://www.itdecent.cn/p/acd3281d9074

2. redis集群介紹

Redis Cluster是Redis的分布式解決方案，在3.0版本正式推出，有效地解
決了Redis分布式方面的需求。當遇到單機內(nèi)存、并發(fā)、流量等瓶頸時，可
以采用Cluster架構(gòu)方案達到負載均衡的目的

3. 集群原理參照redis開發(fā)與運維, 作者講的非常好, 一看便知

4. redis集群集群功能限制

Redis集群相對單機在功能上存在一些限制，需要開發(fā)人員提前了解，
在使用時做好規(guī)避。限制如下：

  • key批量操作支持有限。如mset、mget，目前只支持具有相同slot值的
    key執(zhí)行批量操作。對于映射為不同slot值的key由于執(zhí)行mget、mget等操作可
    能存在于多個節(jié)點上因此不被支持。
  • key事務(wù)操作支持有限。同理只支持多key在同一節(jié)點上的事務(wù)操
    作，當多個key分布在不同的節(jié)點上時無法使用事務(wù)功能。
  • key作為數(shù)據(jù)分區(qū)的最小粒度，因此不能將一個大的鍵值對象如
    hash、list等映射到不同的節(jié)點。
  • 不支持多數(shù)據(jù)庫空間。單機下的Redis可以支持16個數(shù)據(jù)庫，集群模
    式下只能使用一個數(shù)據(jù)庫空間，即db0。
  • 復(fù)制結(jié)構(gòu)只支持一層，從節(jié)點只能復(fù)制主節(jié)點，不支持嵌套樹狀復(fù)
    制結(jié)構(gòu)

二. redis集群搭建

1. 準備節(jié)點

  • 獲取源碼包
    wget http://download.redis.io/releases/redis-3.2.11.tar.gz
  • 解壓
    tar -zxf redis-3.2.11.tar.gz
  • 編譯
    cd redis-3.2.11 && make
    會在src目錄下創(chuàng)建可執(zhí)行文件, 如下:
redis-benchmark redis-check-aof redis-check-rdb
redis-cli   redis-sentinel  redis-server    redis-trib.rb
  • 拷貝到/usr/local/redis/bin下
mkdir -p  /usr/local/redis/bin
mkdir -p  /usr/local/redis/cluster
mkdir -p /usr/local/redis/cluster/7000

cd src
# 拷貝可執(zhí)行文件
cp redis-benchmark redis-check-aof redis-check-rdb redis-cli redis-sentinel redis-server redis-trib.rb /usr/local/redis/bin/

# 拷貝配置文件
cd .. && cp redis.conf /usr/local/redis/7000

#將/usr/local/redis/bin路徑加入到環(huán)境變量
vim /etc/profile
PATH=/usr/local/redis/bin:$PATH
保存后執(zhí)行source /etc/profile生效
  • Redis集群一般由多個節(jié)點組成，節(jié)點數(shù)量至少為6個才能保證組成完整
    高可用的集群。每個節(jié)點需要開啟配置cluster-enabled yes，讓Redis運行在集
    群模式下
  • 首先創(chuàng)建7000節(jié)點目錄, 修改配置文件, 隨后拷貝至7001 7002 7003 7004 7005, 批量修改
  • 進入到7000目錄, 修改配置文件
cd /usr/local/redis/cluster
# 修改配置文件
vim 7000/redis.conf
  • 需要修改配置文件如下
# 綁定網(wǎng)卡(依據(jù)自己需求)
bind 0.0.0.0
# 端口
port 7000
# 守護進程運行方式開啟
daemonize yes
# pid文件
pidfile /var/run/redis_7000.pid
# 日志文件保存位置
logfile "/usr/local/redis/cluster/7000/redis.log"
# 目錄設(shè)置
dir "/usr/local/redis/cluster/7000"
# 集群配置
cluster-enabled yes
cluster-config-file nodes-7000.conf
cluster-node-timeout 15000
  • 將7000拷貝至其他五個目錄
cd /usr/local/redis/cluster
cp -r 7000 7001
cp -r 7000 7002
cp -r 7000 7003
cp -r 7000 7004
cp -r 7000 7005


# 使用sed修改, 將配置文件中的7000替換成各自的節(jié)點
sed -i 's/7000/7001/g' 7001/redis.conf 
sed -i 's/7000/7002/g' 7002/redis.conf 
sed -i 's/7000/7003/g' 7003/redis.conf 
sed -i 's/7000/7004/g' 7004/redis.conf 
sed -i 's/7000/7005/g' 7005/redis.conf
  • 目錄結(jié)構(gòu)如下
yum install tree -y
[root@instance-kbjefgng cluster]# tree
.
├── 7000
│   ├── redis.conf
├── 7001
│   ├── redis.conf
├── 7002
│   ├── redis.conf
├── 7003
│   ├── redis.conf
├── 7004
│   ├── redis.conf
└── 7005
    ├── redis.conf

[root@instance-kbjefgng redis]# tree bin
bin
├── redis-benchmark
├── redis-check-aof
├── redis-check-rdb
├── redis-cli
├── redis-sentinel
├── redis-server
└── redis-trib.rb
  • 開啟6個節(jié)點
redis-server 7000/redis.conf 
redis-server 7001/redis.conf 
redis-server 7002/redis.conf 
redis-server 7003/redis.conf 
redis-server 7004/redis.conf 
redis-server 7005/redis.conf

2. 用redis-trib.rb搭建集群

redis-trib.rb是采用Ruby實現(xiàn)的Redis集群管理工具。內(nèi)部通過Cluster相
關(guān)命令幫我們簡化集群創(chuàng)建、檢查、槽遷移和均衡等常見運維操作，使用之
前需要安裝Ruby依賴環(huán)境

  • 安裝ruby
# ruby官網(wǎng)
# http://www.ruby-lang.org/en/downloads/
# 選擇合適的版本, 本寶選擇2.4.5
wget https://cache.ruby-lang.org/pub/ruby/2.4/ruby-2.4.5.tar.gz

# 常規(guī)操作
tar -zxf ruby-2.4.5.tar.gz 
cd ruby-2.4.5/
./configure --prefix=/usr/local/ruby
make && make install
  • 加入到環(huán)境變量
vim /etc/profile
PATH=/usr/local/ruby/bin:$PATH
source 生效

# 使用ruby包管理器gem安裝redis
gem install redis -v 3.2.1
  • ruby環(huán)境準備完成, 使用redis-trib.rb構(gòu)建集群
    查看幫助
[root@instance-kbjefgng redis]# redis-trib.rb help
Usage: redis-trib <command> <options> <arguments ...>

  create          host1:port1 ... hostN:portN
                  --replicas <arg>
  check           host:port
  • 使用redis-trib.rb create構(gòu)建
    redis-trib.rb create --replicas 1 0.0.0.0:7000 0.0.0.0:7001 0.0.0.0:7002 0.0.0.0:7003 0.0.0.0:7004 0.0.0.0:7005

構(gòu)建過程如下:

[root@instance-kbjefgng cluster]# redis-trib.rb create --replicas 1  0.0.0.0:7000 0.0.0.0:7001 0.0.0.0:7002 0.0.0.0:7003 0.0.0.0:7004 0.0.0.0:7005

# 一個副本

>>> Creating cluster
/usr/local/ruby/lib/ruby/gems/2.4.0/gems/redis-3.2.1/lib/redis/client.rb:443: warning: constant ::Fixnum is deprecated
>>> Performing hash slots allocation on 6 nodes...
# 主從情況
Using 3 masters:
0.0.0.0:7000
0.0.0.0:7001
0.0.0.0:7002
Adding replica 0.0.0.0:7003 to 0.0.0.0:7000
Adding replica 0.0.0.0:7004 to 0.0.0.0:7001
Adding replica 0.0.0.0:7005 to 0.0.0.0:7002
# 槽情況, 總共0-16383個槽, 分配到三個master節(jié)點上
M: 7477f892ff332ab393face782be606626fe1336d 0.0.0.0:7000
   slots:0-5460 (5461 slots) master
M: 97b1cef8e9ef167158a57649af82e5f5b7c518c3 0.0.0.0:7001
   slots:5461-10922 (5462 slots) master
M: 0f24de58844cb3c6ec355d4c272b122cfb601936 0.0.0.0:7002
   slots:10923-16383 (5461 slots) master
S: d67c8782e7cce986fbc300a3425642046370b830 0.0.0.0:7003
   replicates 7477f892ff332ab393face782be606626fe1336d
S: 26ff32fb6f241eab220722caf581df9e96d3ab23 0.0.0.0:7004
   replicates 97b1cef8e9ef167158a57649af82e5f5b7c518c3
S: aa7ed81beb087d265ac7a9c72dddf9f5e35da6f3 0.0.0.0:7005
   replicates 0f24de58844cb3c6ec355d4c272b122cfb601936
Can I set the above configuration? (type 'yes' to accept): yes
  • yes同意后, 構(gòu)建執(zhí)行, 查看如下:
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join...
>>> Performing Cluster Check (using node 0.0.0.0:7000)
M: 7477f892ff332ab393face782be606626fe1336d 0.0.0.0:7000
   slots:0-5460 (5461 slots) master
   1 additional replica(s)
S: d67c8782e7cce986fbc300a3425642046370b830 127.0.0.1:7003
   slots: (0 slots) slave
   replicates 7477f892ff332ab393face782be606626fe1336d
S: 26ff32fb6f241eab220722caf581df9e96d3ab23 127.0.0.1:7004
   slots: (0 slots) slave
   replicates 97b1cef8e9ef167158a57649af82e5f5b7c518c3
S: aa7ed81beb087d265ac7a9c72dddf9f5e35da6f3 127.0.0.1:7005
   slots: (0 slots) slave
   replicates 0f24de58844cb3c6ec355d4c272b122cfb601936
M: 97b1cef8e9ef167158a57649af82e5f5b7c518c3 127.0.0.1:7001
   slots:5461-10922 (5462 slots) master
   1 additional replica(s)
M: 0f24de58844cb3c6ec355d4c272b122cfb601936 127.0.0.1:7002
   slots:10923-16383 (5461 slots) master
   1 additional replica(s)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
  • 構(gòu)建完成, 集群完整性檢查
    redis-trib.rb check 0.0.0.0:7000 
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

所有槽都分配到節(jié)點

  • 至此redis集群搭建完成, 想了解更多redis集群的知識, 請查看本寶推薦的書籍(第三遍推薦, 哈哈)
  • 目錄結(jié)構(gòu)如下
[root@instance-kbjefgng redis]# tree cluster/
cluster/
├── 7000
│   ├── dump.rdb
│   ├── nodes-7000.conf
│   ├── redis.conf
│   └── redis.log
├── 7001
│   ├── dump.rdb
│   ├── nodes-7001.conf
│   ├── redis.conf
│   └── redis.log
├── 7002
│   ├── dump.rdb
│   ├── nodes-7002.conf
│   ├── redis.conf
│   └── redis.log
├── 7003
│   ├── dump.rdb
│   ├── nodes-7003.conf
│   ├── redis.conf
│   └── redis.log
├── 7004
│   ├── dump.rdb
│   ├── nodes-7004.conf
│   ├── redis.conf
│   └── redis.log
└── 7005
    ├── dump.rdb
    ├── nodes-7005.conf
    ├── redis.conf
    └── redis.log

6 directories, 24 files

三. python操作redis集群

  • 操作單機redis, 推薦redis-py
    安裝pip install redis
    使用見github
    https://github.com/andymccurdy/redis-py

  • 操作集群, 推薦 redis-py-cluster
    安裝 pip install redis-py-cluster
    使用: http://readthedocs.org/projects/redis-py-cluster/

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容