Redis主從同步配置實踐

前言

Redis是一個高性能的key-value數(shù)據(jù)庫，作為一個典型的內(nèi)存數(shù)據(jù)庫，高速讀寫性能并支持數(shù)據(jù)持久化是大多數(shù)人選擇Redis的原因，當然Redis也有很多局限，即使現(xiàn)在升級至5.0在技術(shù)圈仍有很多不同的聲音。Redis監(jiān)控可以通過Keepalived結(jié)合簡單的腳本實現(xiàn)，也可以基于Redis Sentinel監(jiān)控，如果需要橫向擴展使用Codis或許是更加成熟穩(wěn)定的方案。

Redis主備同步配置實踐

更新歷史

2018年11月29日 - 初稿

閱讀原文 - https://wsgzao.github.io/post/redis/

擴展閱讀

Redis - https://redis.io/

Redis簡介

Redis is often referred as a data structures server. What this means is that Redis provides access to mutable data structures via a set of commands, which are sent using a server-client model with TCP sockets and a simple protocol. So different processes can query and modify the same data structures in a shared way.

Data structures implemented into Redis have a few special properties:

  • Redis cares to store them on disk, even if they are always served and modified into the server memory. This means that Redis is fast, but that is also non-volatile.
  • Implementation of data structures stress on memory efficiency, so data structures inside Redis will likely use less memory compared to the same data structure modeled using an high level programming language.
  • Redis offers a number of features that are natural to find in a database, like replication, tunable levels of durability, cluster, high availability.

Another good example is to think of Redis as a more complex version of memcached, where the operations are not just SETs and GETs, but operations to work with complex data types like Lists, Sets, ordered data structures, and so forth.

If you want to know more, this is a list of selected starting points:

Documentation

Latest stable version tar ball

http://download.redis.io/redis-stable.tar.gz

http://download.redis.io/releases/redis-5.0.2.tar.gz

http://download.redis.io/releases/redis-3.2.10.tar.gz

Browse source code

http://download.redis.io/redis-stable/

http://download.redis.io/redis-stable/README.md

Install

# download
wget http://download.redis.io/redis-stable.tar.gz
tar xf redis-stable.tar.gz
cd redis-stable
# check packages
yum -y install gcc gcc-c++ tcl
# check version
./src/redis-cli -v
redis-cli 5.0.2
# start redis server
./src/redis-server redis.conf
# test
[root@localhost ~]# ./redis-stable/src/redis-cli
127.0.0.1:6379> set foo bar
OK
127.0.0.1:6379> get foo
"bar"
127.0.0.1:6379>

Configuration

不理解的配置參數(shù)可以參考官方文檔或者下面的中文翻譯

# create directory
mkdir -p /data/running/redis-6389
mkdir -p /var/log/redis/

# copy custom scripts
-rwxr-xr-x 1 root root    266 Nov 28 19:11 change_redis.py
-rwxr-xr-x 1 root root    323 Nov 28 19:11 check_redis.sh
-rwxr-xr-x 1 root root     20 Nov 28 19:11 connect_redis.sh
-rw-r--r-- 1 root root     74 Nov 28 19:11 keep_alived_state
-rwxr-xr-x 1 root root    829 Nov 28 19:11 keepalived.state.sh
-rwxr-xr-x 1 root root 173376 Nov 28 19:11 redis-cli
-rw-r----- 1 root root  46666 Nov 28 19:11 redis.conf
-rwxr-xr-x 1 root root 979464 Nov 28 19:11 redis-server
-rwxr-xr-x 1 root root     74 Nov 28 19:11 start_redis.sh
-rwxr-xr-x 1 root root     38 Nov 28 19:11 stop_redis.sh

# set custom values
[root@sg-gop-10-71-12-78 redis-6389]# grep -Ev "^$|#" redis.conf
protected-mode no
port 6389
tcp-backlog 511
timeout 0
tcp-keepalive 300
daemonize yes
supervised no
pidfile /var/run/redis_6389.pid
loglevel notice
logfile /var/log/redis/redis-6389.log
databases 16
save 900 1
save 300 10
save 60 10000
stop-writes-on-bgsave-error yes
rdbcompression yes
rdbchecksum yes
dbfilename dump.rdb
dir /data/running/redis-6389
slave-serve-stale-data yes
slave-read-only yes
repl-diskless-sync no
repl-diskless-sync-delay 5
repl-disable-tcp-nodelay no
slave-priority 100
maxclients 50000
maxmemory 400gb
maxmemory-policy allkeys-lru
appendonly yes
appendfilename "appendonly.aof"
appendfsync everysec
no-appendfsync-on-rewrite no
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
aof-load-truncated yes
lua-time-limit 5000
slowlog-log-slower-than 10000
slowlog-max-len 128
latency-monitor-threshold 0
notify-keyspace-events ""
hash-max-ziplist-entries 512
hash-max-ziplist-value 64
list-max-ziplist-size -2
list-compress-depth 0
set-max-intset-entries 512
zset-max-ziplist-entries 128
zset-max-ziplist-value 64
hll-sparse-max-bytes 3000
activerehashing yes
client-output-buffer-limit normal 0 0 0
client-output-buffer-limit slave 0 0 0
client-output-buffer-limit pubsub 32mb 8mb 60
hz 10
aof-rewrite-incremental-fsync yes

# set slave
telnet 127.0.0.1 6389
slaveof 10.71.12.70 6389
# cancel slave
slaveof no one
info
# Replication
role:master
connected_slaves:1
slave0:ip=10.71.12.71,port=6389,state=online,offset=2283,lag=1
master_repl_offset:2283
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:2
repl_backlog_histlen:2282
# Replication
role:slave
master_host:10.71.12.70
master_port:6389
master_link_status:up
master_last_io_seconds_ago:5
master_sync_in_progress:0
slave_repl_offset:2059
slave_priority:100
slave_read_only:1
connected_slaves:0
master_repl_offset:0
repl_backlog_active:0
repl_backlog_size:1048576
repl_backlog_first_byte_offset:0
repl_backlog_histlen:0

redis.conf 配置英文原版

最簡單的模式只需要修改daemonize yes，然后備機使用slaveof命令設(shè)置即可

http://download.redis.io/redis-stable/redis.conf

# Redis默認配置
[root@localhost redis-stable]# grep -Ev "^$|#" redis.conf
bind 127.0.0.1
protected-mode yes
port 6379
tcp-backlog 511
timeout 0
tcp-keepalive 300
daemonize no
supervised no
pidfile /var/run/redis_6379.pid
loglevel notice
logfile ""
databases 16
always-show-logo yes
save 900 1
save 300 10
save 60 10000
stop-writes-on-bgsave-error yes
rdbcompression yes
rdbchecksum yes
dbfilename dump.rdb
dir ./
replica-serve-stale-data yes
replica-read-only yes
repl-diskless-sync no
repl-diskless-sync-delay 5
repl-disable-tcp-nodelay no
replica-priority 100
lazyfree-lazy-eviction no
lazyfree-lazy-expire no
lazyfree-lazy-server-del no
replica-lazy-flush no
appendonly no
appendfilename "appendonly.aof"
appendfsync everysec
no-appendfsync-on-rewrite no
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
aof-load-truncated yes
aof-use-rdb-preamble yes
lua-time-limit 5000
slowlog-log-slower-than 10000
slowlog-max-len 128
latency-monitor-threshold 0
notify-keyspace-events ""
hash-max-ziplist-entries 512
hash-max-ziplist-value 64
list-max-ziplist-size -2
list-compress-depth 0
set-max-intset-entries 512
zset-max-ziplist-entries 128
zset-max-ziplist-value 64
hll-sparse-max-bytes 3000
stream-node-max-bytes 4096
stream-node-max-entries 100
activerehashing yes
client-output-buffer-limit normal 0 0 0
client-output-buffer-limit replica 256mb 64mb 60
client-output-buffer-limit pubsub 32mb 8mb 60
hz 10
dynamic-hz yes
aof-rewrite-incremental-fsync yes
rdb-save-incremental-fsync yes

redis.conf 配置中文翻譯

#redis.conf
# Redis configuration file example.
# ./redis-server /path/to/redis.conf

################################## INCLUDES ###################################
#這在你有標準配置模板但是每個redis服務(wù)器又需要個性設(shè)置的時候很有用。
include /path/to/local.conf
include /path/to/other.conf

################################ GENERAL #####################################

#是否在后臺執(zhí)行，yes：后臺運行；no：不是后臺運行（老版本默認）
daemonize yes

#3.2里的參數(shù)，是否開啟保護模式，默認開啟。要是配置里沒有指定bind和密碼。開啟該參數(shù)后，redis只會本地進行訪問，拒絕外部訪問。要是開啟了密碼   和bind，可以開啟。否   則最好關(guān)閉，設(shè)置為no。
protected-mode yes

#redis的進程文件
pidfile /var/run/redis/redis-server.pid

#redis監(jiān)聽的端口號。
port 6379

#此參數(shù)確定了TCP連接中已完成隊列(完成三次握手之后)的長度， 當然此值必須不大于Linux系統(tǒng)定義的/proc/sys/net/core/somaxconn值，默認是511，而Linux的默認參數(shù)值是128。當系統(tǒng)并發(fā)量大并且客戶端速度緩慢的時候，可以將這二個參數(shù)一起參考設(shè)定。該內(nèi)核參數(shù)默認值一般是128，對于負載很大的服務(wù)程序來說大大的不夠。一般會將它修改為2048或者更大。在/etc/sysctl.conf中添加:net.core.somaxconn = 2048，然后在終端中執(zhí)行sysctl -p。
tcp-backlog 511

#指定 redis 只接收來自于該 IP 地址的請求，如果不進行設(shè)置，那么將處理所有請求
bind 127.0.0.1

#配置unix socket來讓redis支持監(jiān)聽本地連接。
# unixsocket /var/run/redis/redis.sock
#配置unix socket使用文件的權(quán)限
# unixsocketperm 700

# 此參數(shù)為設(shè)置客戶端空閑超過timeout，服務(wù)端會斷開連接，為0則服務(wù)端不會主動斷開連接，不能小于0。
timeout 0

#tcp keepalive參數(shù)。如果設(shè)置不為0，就使用配置tcp的SO_KEEPALIVE值，使用keepalive有兩個好處:檢測掛掉的對端。降低中間設(shè)備出問題而導(dǎo)致網(wǎng)絡(luò)看似連接卻已經(jīng)與對端端口的問題。在Linux內(nèi)核中，設(shè)置了keepalive，redis會定時給對端發(fā)送ack。檢測到對端關(guān)閉需要兩倍的設(shè)置值。
tcp-keepalive 0

#指定了服務(wù)端日志的級別。級別包括：debug（很多信息，方便開發(fā)、測試），verbose（許多有用的信息，但是沒有debug級別信息多），notice（適當?shù)娜罩炯墑e，適合生產(chǎn)環(huán)境），warn（只有非常重要的信息）
loglevel notice

#指定了記錄日志的文件?？兆址脑?，日志會打印到標準輸出設(shè)備。后臺運行的redis標準輸出是/dev/null。
logfile /var/log/redis/redis-server.log

#是否打開記錄syslog功能
# syslog-enabled no

#syslog的標識符。
# syslog-ident redis

#日志的來源、設(shè)備
# syslog-facility local0

#數(shù)據(jù)庫的數(shù)量，默認使用的數(shù)據(jù)庫是DB 0?？梢酝ㄟ^”SELECT “命令選擇一個db
databases 16

################################ SNAPSHOTTING ################################
# 快照配置
# 注釋掉“save”這一行配置項就可以讓保存數(shù)據(jù)庫功能失效
# 設(shè)置sedis進行數(shù)據(jù)庫鏡像的頻率。
# 900秒（15分鐘）內(nèi)至少1個key值改變（則進行數(shù)據(jù)庫保存--持久化） 
# 300秒（5分鐘）內(nèi)至少10個key值改變（則進行數(shù)據(jù)庫保存--持久化） 
# 60秒（1分鐘）內(nèi)至少10000個key值改變（則進行數(shù)據(jù)庫保存--持久化）
save 900 1
save 300 10
save 60 10000

#當RDB持久化出現(xiàn)錯誤后，是否依然進行繼續(xù)進行工作，yes：不能進行工作，no：可以繼續(xù)進行工作，可以通過info中的rdb_last_bgsave_status了解RDB持久化是否有錯誤
stop-writes-on-bgsave-error yes

#使用壓縮rdb文件，rdb文件壓縮使用LZF壓縮算法，yes：壓縮，但是需要一些cpu的消耗。no：不壓縮，需要更多的磁盤空間
rdbcompression yes

#是否校驗rdb文件。從rdb格式的第五個版本開始，在rdb文件的末尾會帶上CRC64的校驗和。這跟有利于文件的容錯性，但是在保存rdb文件的時候，會有大概10%的性能損耗，所以如果你追求高性能，可以關(guān)閉該配置。
rdbchecksum yes

#rdb文件的名稱
dbfilename dump.rdb

#數(shù)據(jù)目錄，數(shù)據(jù)庫的寫入會在這個目錄。rdb、aof文件也會寫在這個目錄
dir /var/lib/redis

################################# REPLICATION #################################
#復(fù)制選項，slave復(fù)制對應(yīng)的master。
# slaveof <masterip> <masterport>

#如果master設(shè)置了requirepass，那么slave要連上master，需要有master的密碼才行。masterauth就是用來配置master的密碼，這樣可以在連上master后進行認證。
# masterauth <master-password>

#當從庫同主機失去連接或者復(fù)制正在進行，從機庫有兩種運行方式：1) 如果slave-serve-stale-data設(shè)置為yes(默認設(shè)置)，從庫會繼續(xù)響應(yīng)客戶端的請求。2) 如果slave-serve-stale-data設(shè)置為no，除去INFO和SLAVOF命令之外的任何請求都會返回一個錯誤”SYNC with master in progress”。
slave-serve-stale-data yes

#作為從服務(wù)器，默認情況下是只讀的（yes），可以修改成NO，用于寫（不建議）。
slave-read-only yes

#是否使用socket方式復(fù)制數(shù)據(jù)。目前redis復(fù)制提供兩種方式，disk和socket。如果新的slave連上來或者重連的slave無法部分同步，就會執(zhí)行全量同步，master會生成rdb文件。有2種方式：disk方式是master創(chuàng)建一個新的進程把rdb文件保存到磁盤，再把磁盤上的rdb文件傳遞給slave。socket是master創(chuàng)建一個新的進程，直接把rdb文件以socket的方式發(fā)給slave。disk方式的時候，當一個rdb保存的過程中，多個slave都能共享這個rdb文件。socket的方式就的一個個slave順序復(fù)制。在磁盤速度緩慢，網(wǎng)速快的情況下推薦用socket方式。
repl-diskless-sync no

#diskless復(fù)制的延遲時間，防止設(shè)置為0。一旦復(fù)制開始，節(jié)點不會再接收新slave的復(fù)制請求直到下一個rdb傳輸。所以最好等待一段時間，等更多的slave連上來。
repl-diskless-sync-delay 5

#slave根據(jù)指定的時間間隔向服務(wù)器發(fā)送ping請求。時間間隔可以通過 repl_ping_slave_period 來設(shè)置，默認10秒。
# repl-ping-slave-period 10

#復(fù)制連接超時時間。master和slave都有超時時間的設(shè)置。master檢測到slave上次發(fā)送的時間超過repl-timeout，即認為slave離線，清除該slave信息。slave檢測到上次和master交互的時間超過repl-timeout，則認為master離線。需要注意的是repl-timeout需要設(shè)置一個比repl-ping-slave-period更大的值，不然會經(jīng)常檢測到超時。
# repl-timeout 60

#是否禁止復(fù)制tcp鏈接的tcp nodelay參數(shù)，可傳遞yes或者no。默認是no，即使用tcp nodelay。如果master設(shè)置了yes來禁止tcp nodelay設(shè)置，在把數(shù)據(jù)復(fù)制給slave的時候，會減少包的數(shù)量和更小的網(wǎng)絡(luò)帶寬。但是這也可能帶來數(shù)據(jù)的延遲。默認我們推薦更小的延遲，但是在數(shù)據(jù)量傳輸很大的場景下，建議選擇yes。
repl-disable-tcp-nodelay no

#復(fù)制緩沖區(qū)大小，這是一個環(huán)形復(fù)制緩沖區(qū)，用來保存最新復(fù)制的命令。這樣在slave離線的時候，不需要完全復(fù)制master的數(shù)據(jù)，如果可以執(zhí)行部分同步，只需要把緩沖區(qū)的部分數(shù)據(jù)復(fù)制給slave，就能恢復(fù)正常復(fù)制狀態(tài)。緩沖區(qū)的大小越大，slave離線的時間可以更長，復(fù)制緩沖區(qū)只有在有slave連接的時候才分配內(nèi)存。沒有slave的一段時間，內(nèi)存會被釋放出來，默認1m。
# repl-backlog-size 5mb

#master沒有slave一段時間會釋放復(fù)制緩沖區(qū)的內(nèi)存，repl-backlog-ttl用來設(shè)置該時間長度。單位為秒。
# repl-backlog-ttl 3600

#當master不可用，Sentinel會根據(jù)slave的優(yōu)先級選舉一個master。最低的優(yōu)先級的slave，當選master。而配置成0，永遠不會被選舉。
slave-priority 100

#redis提供了可以讓master停止寫入的方式，如果配置了min-slaves-to-write，健康的slave的個數(shù)小于N，mater就禁止寫入。master最少得有多少個健康的slave存活才能執(zhí)行寫命令。這個配置雖然不能保證N個slave都一定能接收到master的寫操作，但是能避免沒有足夠健康的slave的時候，master不能寫入來避免數(shù)據(jù)丟失。設(shè)置為0是關(guān)閉該功能。
# min-slaves-to-write 3

#延遲小于min-slaves-max-lag秒的slave才認為是健康的slave。
# min-slaves-max-lag 10

# 設(shè)置1或另一個設(shè)置為0禁用這個特性。
# Setting one or the other to 0 disables the feature.
# By default min-slaves-to-write is set to 0 (feature disabled) and
# min-slaves-max-lag is set to 10.

################################## SECURITY ###################################
#requirepass配置可以讓用戶使用AUTH命令來認證密碼，才能使用其他命令。這讓redis可以使用在不受信任的網(wǎng)絡(luò)中。為了保持向后的兼容性，可以注釋該命令，因為大部分用戶也不需要認證。使用requirepass的時候需要注意，因為redis太快了，每秒可以認證15w次密碼，簡單的密碼很容易被攻破，所以最好使用一個更復(fù)雜的密碼。
# requirepass foobared

#把危險的命令給修改成其他名稱。比如CONFIG命令可以重命名為一個很難被猜到的命令，這樣用戶不能使用，而內(nèi)部工具還能接著使用。
# rename-command CONFIG b840fc02d524045429941cc15f59e41cb7be6c52

#設(shè)置成一個空的值，可以禁止一個命令
# rename-command CONFIG ""
################################### LIMITS ####################################

# 設(shè)置能連上redis的最大客戶端連接數(shù)量。默認是10000個客戶端連接。由于redis不區(qū)分連接是客戶端連接還是內(nèi)部打開文件或者和slave連接等，所以maxclients最小建議設(shè)置到32。如果超過了maxclients，redis會給新的連接發(fā)送’max number of clients reached’，并關(guān)閉連接。
# maxclients 10000

#redis配置的最大內(nèi)存容量。當內(nèi)存滿了，需要配合maxmemory-policy策略進行處理。注意slave的輸出緩沖區(qū)是不計算在maxmemory內(nèi)的。所以為了防止主機內(nèi)存使用完，建議設(shè)置的maxmemory需要更小一些。
# maxmemory <bytes>

#內(nèi)存容量超過maxmemory后的處理策略。
#volatile-lru：利用LRU算法移除設(shè)置過過期時間的key。
#volatile-random：隨機移除設(shè)置過過期時間的key。
#volatile-ttl：移除即將過期的key，根據(jù)最近過期時間來刪除（輔以TTL）
#allkeys-lru：利用LRU算法移除任何key。
#allkeys-random：隨機移除任何key。
#noeviction：不移除任何key，只是返回一個寫錯誤。
#上面的這些驅(qū)逐策略，如果redis沒有合適的key驅(qū)逐，對于寫命令，還是會返回錯誤。redis將不再接收寫請求，只接收get請求。寫命令包括：set setnx setex append incr decr rpush lpush rpushx lpushx linsert lset rpoplpush sadd sinter sinterstore sunion sunionstore sdiff sdiffstore zadd zincrby zunionstore zinterstore hset hsetnx hmset hincrby incrby decrby getset mset msetnx exec sort。
# maxmemory-policy noeviction

#lru檢測的樣本數(shù)。使用lru或者ttl淘汰算法，從需要淘汰的列表中隨機選擇sample個key，選出閑置時間最長的key移除。
# maxmemory-samples 5

############################## APPEND ONLY MODE ###############################
#默認redis使用的是rdb方式持久化，這種方式在許多應(yīng)用中已經(jīng)足夠用了。但是redis如果中途宕機，會導(dǎo)致可能有幾分鐘的數(shù)據(jù)丟失，根據(jù)save來策略進行持久化，Append Only File是另一種持久化方式，可以提供更好的持久化特性。Redis會把每次寫入的數(shù)據(jù)在接收后都寫入 appendonly.aof 文件，每次啟動時Redis都會先把這個文件的數(shù)據(jù)讀入內(nèi)存里，先忽略RDB文件。
appendonly no

#aof文件名
appendfilename "appendonly.aof"

#aof持久化策略的配置
#no表示不執(zhí)行fsync，由操作系統(tǒng)保證數(shù)據(jù)同步到磁盤，速度最快。
#always表示每次寫入都執(zhí)行fsync，以保證數(shù)據(jù)同步到磁盤。
#everysec表示每秒執(zhí)行一次fsync，可能會導(dǎo)致丟失這1s數(shù)據(jù)。
appendfsync everysec

# 在aof重寫或者寫入rdb文件的時候，會執(zhí)行大量IO，此時對于everysec和always的aof模式來說，執(zhí)行fsync會造成阻塞過長時間，no-appendfsync-on-rewrite字段設(shè)置為默認設(shè)置為no。如果對延遲要求很高的應(yīng)用，這個字段可以設(shè)置為yes，否則還是設(shè)置為no，這樣對持久化特性來說這是更安全的選擇。設(shè)置為yes表示rewrite期間對新寫操作不fsync,暫時存在內(nèi)存中,等rewrite完成后再寫入，默認為no，建議yes。Linux的默認fsync策略是30秒?？赡軄G失30秒數(shù)據(jù)。
no-appendfsync-on-rewrite no

#aof自動重寫配置。當目前aof文件大小超過上一次重寫的aof文件大小的百分之多少進行重寫，即當aof文件增長到一定大小的時候Redis能夠調(diào)用bgrewriteaof對日志文件進行重寫。當前AOF文件大小是上次日志重寫得到AOF文件大小的二倍（設(shè)置為100）時，自動啟動新的日志重寫過程。
auto-aof-rewrite-percentage 100
#設(shè)置允許重寫的最小aof文件大小，避免了達到約定百分比但尺寸仍然很小的情況還要重寫
auto-aof-rewrite-min-size 64mb

#aof文件可能在尾部是不完整的，當redis啟動的時候，aof文件的數(shù)據(jù)被載入內(nèi)存。重啟可能發(fā)生在redis所在的主機操作系統(tǒng)宕機后，尤其在ext4文件系統(tǒng)沒有加上data=ordered選項（redis宕機或者異常終止不會造成尾部不完整現(xiàn)象。）出現(xiàn)這種現(xiàn)象，可以選擇讓redis退出，或者導(dǎo)入盡可能多的數(shù)據(jù)。如果選擇的是yes，當截斷的aof文件被導(dǎo)入的時候，會自動發(fā)布一個log給客戶端然后load。如果是no，用戶必須手動redis-check-aof修復(fù)AOF文件才可以。
aof-load-truncated yes

################################ LUA SCRIPTING ###############################
# 如果達到最大時間限制（毫秒），redis會記個log，然后返回error。當一個腳本超過了最大時限。只有SCRIPT KILL和SHUTDOWN NOSAVE可以用。第一個可以殺沒有調(diào)write命令的東西。要是已經(jīng)調(diào)用了write，只能用第二個命令殺。
lua-time-limit 5000

################################ REDIS CLUSTER ###############################
#集群開關(guān)，默認是不開啟集群模式。
# cluster-enabled yes

#集群配置文件的名稱，每個節(jié)點都有一個集群相關(guān)的配置文件，持久化保存集群的信息。這個文件并不需要手動配置，這個配置文件有Redis生成并更新，每個Redis集群節(jié)點需要一個單獨的配置文件，請確保與實例運行的系統(tǒng)中配置文件名稱不沖突
# cluster-config-file nodes-6379.conf

#節(jié)點互連超時的閥值。集群節(jié)點超時毫秒數(shù)
# cluster-node-timeout 15000

#在進行故障轉(zhuǎn)移的時候，全部slave都會請求申請為master，但是有些slave可能與master斷開連接一段時間了，導(dǎo)致數(shù)據(jù)過于陳舊，這樣的slave不應(yīng)該被提升為master。該參數(shù)就是用來判斷slave節(jié)點與master斷線的時間是否過長。判斷方法是：
#比較slave斷開連接的時間和(node-timeout * slave-validity-factor) + repl-ping-slave-period
#如果節(jié)點超時時間為三十秒, 并且slave-validity-factor為10,假設(shè)默認的repl-ping-slave-period是10秒，即如果超過310秒slave將不會嘗試進行故障轉(zhuǎn)移 
# cluster-slave-validity-factor 10

#master的slave數(shù)量大于該值，slave才能遷移到其他孤立master上，如這個參數(shù)若被設(shè)為2，那么只有當一個主節(jié)點擁有2 個可工作的從節(jié)點時，它的一個從節(jié)點會嘗試遷移。
# cluster-migration-barrier 1

#默認情況下，集群全部的slot有節(jié)點負責，集群狀態(tài)才為ok，才能提供服務(wù)。設(shè)置為no，可以在slot沒有全部分配的時候提供服務(wù)。不建議打開該配置，這樣會造成分區(qū)的時候，小分區(qū)的master一直在接受寫請求，而造成很長時間數(shù)據(jù)不一致。
# cluster-require-full-coverage yes

################################## SLOW LOG ###################################
###slog log是用來記錄redis運行中執(zhí)行比較慢的命令耗時。當命令的執(zhí)行超過了指定時間，就記錄在slow log中，slog log保存在內(nèi)存中，所以沒有IO操作。
#執(zhí)行時間比slowlog-log-slower-than大的請求記錄到slowlog里面，單位是微秒，所以1000000就是1秒。注意，負數(shù)時間會禁用慢查詢?nèi)罩?，?則會強制記錄所有命令。
slowlog-log-slower-than 10000

#慢查詢?nèi)罩鹃L度。當一個新的命令被寫進日志的時候，最老的那個記錄會被刪掉。這個長度沒有限制。只要有足夠的內(nèi)存就行。你可以通過 SLOWLOG RESET 來釋放內(nèi)存。
slowlog-max-len 128

################################ LATENCY MONITOR ##############################
#延遲監(jiān)控功能是用來監(jiān)控redis中執(zhí)行比較緩慢的一些操作，用LATENCY打印redis實例在跑命令時的耗時圖表。只記錄大于等于下邊設(shè)置的值的操作。0的話，就是關(guān)閉監(jiān)視。默認延遲監(jiān)控功能是關(guān)閉的，如果你需要打開，也可以通過CONFIG SET命令動態(tài)設(shè)置。
latency-monitor-threshold 0

############################# EVENT NOTIFICATION ##############################
#鍵空間通知使得客戶端可以通過訂閱頻道或模式，來接收那些以某種方式改動了 Redis 數(shù)據(jù)集的事件。因為開啟鍵空間通知功能需要消耗一些 CPU ，所以在默認配置下，該功能處于關(guān)閉狀態(tài)。
#notify-keyspace-events 的參數(shù)可以是以下字符的任意組合，它指定了服務(wù)器該發(fā)送哪些類型的通知：
##K 鍵空間通知，所有通知以 __keyspace@__ 為前綴
##E 鍵事件通知，所有通知以 __keyevent@__ 為前綴
##g DEL 、 EXPIRE 、 RENAME 等類型無關(guān)的通用命令的通知
##$ 字符串命令的通知
##l 列表命令的通知
##s 集合命令的通知
##h 哈希命令的通知
##z 有序集合命令的通知
##x 過期事件：每當有過期鍵被刪除時發(fā)送
##e 驅(qū)逐(evict)事件：每當有鍵因為 maxmemory 政策而被刪除時發(fā)送
##A 參數(shù) g$lshzxe 的別名
#輸入的參數(shù)中至少要有一個 K 或者 E，否則的話，不管其余的參數(shù)是什么，都不會有任何 通知被分發(fā)。詳細使用可以參考http://redis.io/topics/notifications

notify-keyspace-events ""

############################### ADVANCED CONFIG ###############################
#數(shù)據(jù)量小于等于hash-max-ziplist-entries的用ziplist，大于hash-max-ziplist-entries用hash
hash-max-ziplist-entries 512
#value大小小于等于hash-max-ziplist-value的用ziplist，大于hash-max-ziplist-value用hash。
hash-max-ziplist-value 64

#數(shù)據(jù)量小于等于list-max-ziplist-entries用ziplist，大于list-max-ziplist-entries用list。
list-max-ziplist-entries 512
#value大小小于等于list-max-ziplist-value的用ziplist，大于list-max-ziplist-value用list。
list-max-ziplist-value 64

#數(shù)據(jù)量小于等于set-max-intset-entries用iniset，大于set-max-intset-entries用set。
set-max-intset-entries 512

#數(shù)據(jù)量小于等于zset-max-ziplist-entries用ziplist，大于zset-max-ziplist-entries用zset。
zset-max-ziplist-entries 128
#value大小小于等于zset-max-ziplist-value用ziplist，大于zset-max-ziplist-value用zset。
zset-max-ziplist-value 64

#value大小小于等于hll-sparse-max-bytes使用稀疏數(shù)據(jù)結(jié)構(gòu)（sparse），大于hll-sparse-max-bytes使用稠密的數(shù)據(jù)結(jié)構(gòu)（dense）。一個比16000大的value是幾乎沒用的，建議的value大概為3000。如果對CPU要求不高，對空間要求較高的，建議設(shè)置到10000左右。
hll-sparse-max-bytes 3000

#Redis將在每100毫秒時使用1毫秒的CPU時間來對redis的hash表進行重新hash，可以降低內(nèi)存的使用。當你的使用場景中，有非常嚴格的實時性需要，不能夠接受Redis時不時的對請求有2毫秒的延遲的話，把這項配置為no。如果沒有這么嚴格的實時性要求，可以設(shè)置為yes，以便能夠盡可能快的釋放內(nèi)存。
activerehashing yes

##對客戶端輸出緩沖進行限制可以強迫那些不從服務(wù)器讀取數(shù)據(jù)的客戶端斷開連接，用來強制關(guān)閉傳輸緩慢的客戶端。
#對于normal client，第一個0表示取消hard limit，第二個0和第三個0表示取消soft limit，normal client默認取消限制，因為如果沒有尋問，他們是不會接收數(shù)據(jù)的。
client-output-buffer-limit normal 0 0 0
#對于slave client和MONITER client，如果client-output-buffer一旦超過256mb，又或者超過64mb持續(xù)60秒，那么服務(wù)器就會立即斷開客戶端連接。
client-output-buffer-limit slave 256mb 64mb 60
#對于pubsub client，如果client-output-buffer一旦超過32mb，又或者超過8mb持續(xù)60秒，那么服務(wù)器就會立即斷開客戶端連接。
client-output-buffer-limit pubsub 32mb 8mb 60

#redis執(zhí)行任務(wù)的頻率為1s除以hz。
hz 10

#在aof重寫的時候，如果打開了aof-rewrite-incremental-fsync開關(guān)，系統(tǒng)會每32MB執(zhí)行一次fsync。這對于把文件寫入磁盤是有幫助的，可以避免過大的延遲峰值。
aof-rewrite-incremental-fsync yes

自定義腳本

使用keepalived做最基本的高可用

[root@sg-gop-10-71-12-78 redis-6389]# cat start_redis.sh
/data/running/redis-6389/redis-server /data/running/redis-6389/redis.conf

[root@sg-gop-10-71-12-78 redis-6389]# cat connect_redis.sh
./redis-cli -p 6389

[root@sg-gop-10-71-12-78 redis-6389]# cat stop_redis.sh
kill -9 `cat /var/run/redis_6389.pid`

[root@sg-gop-10-71-12-78 redis-6389]# cat check_redis.sh
#!/bin/bash
# Check if redis is running, return 1 if not.
# Used by keepalived to initiate a failover in case redis is down

REDIS_STATUS=$(telnet 127.0.0.1 6389 < /dev/null | grep "Connected" )
if [ "$REDIS_STATUS" != "" ]
then
  exit 0
else
  logger "REDIS is NOT running. Setting keepalived state to FAULT."
  exit 1
fi

[root@sg-gop-10-71-12-78 redis-6389]# cat change_redis.py
#!/usr/bin/python

import redis
import re
import sys

#main
status=sys.argv[1]
r = redis.StrictRedis(host='localhost', port=6389, db=0)
print r.info().get("role")
if status == 'master':
        r.slaveof()
        r.config_set("save", "")
print r.info().get("role")

[root@sg-gop-10-71-12-78 redis-6389]# cat keepalived.state.sh
#!/bin/bash

TYPE=$1 #GROUP or INSTANCE
NAME=$2 #name of group or instance
STATE=$3 #MASTER, BACKUP FAULT

case $STATE in
        "MASTER") echo $(date)': '$STATE >> /data/running/redis-6389/keep_alived_state #Become redis master
                  python /data/running/redis-6389/change_redis.py master
                  exit 0
                  ;;
        "BACKUP") echo $(date)': '$STATE >> /data/running/redis-6389/keep_alived_state #Become redis slave
                  python /data/running/redis-6389/change_redis.py slave
                  exit 0
                  ;;
        "FAULT")  echo $(date)': '$STATE >> /data/running/redis-6389/keep_alived_state #restart and become redis slave
                  exit 0
                  ;;
        *)        echo "unknown state"
                  exit 1
                  ;;
esac
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 1.文件存儲在阿里oss上，因此在小程序上線前，要配置uploadFile合法域名:https://**.oss-...
    小灰灰不黑閱讀 693評論 0贊 0
  • 昨天觀音菩薩圣誕日，和友人及她素寶寶一起放生。這小人兒真是善根深厚！一路佛號不斷，又念又唱，雖然是走音版唱腔，誠心...
    靜茹_fish閱讀 430評論 0贊 0
  • 夏日悠悠，蟬鳴蛙叫 小石板路，赤腳漫步 花田半畝，漫延葉紫 綠油油草，遍株花開 涼風習(xí)習(xí)，閉目展迎 我是夏日 有烈...
    滌生_7687閱讀 284評論 1贊 1
  • 您看或不看，我都在寫，您寫或不寫，時間都在流逝，唯有文字承載的記憶是永恒。 我的第31篇原創(chuàng)日記，相信日積月累的力...
    淡若曦語閱讀 451評論 0贊 1
  • 等待紅綠燈的時間是有趣的。 開豪車的車主喜歡開著窗戶，把手放在車窗上，金黃色的大手表閃耀著耀眼的光芒，開便宜車的車...
    止言又語閱讀 464評論 0贊 0

友情鏈接更多精彩內(nèi)容