• 目錄
  • 前言
  • 安裝
  • 配置文件更改
  • 開始遷移

前言

Redis集群同步遷移的方法有很多，比如redis-port,redis-migrate-tool等工具，本文主要講CentOS通過redis-migrate-tool從集群遷移到單實例。

redis-migrate-tool 是維品會開源的一款redis數(shù)據(jù)遷移工具，基于redis復制，快速，穩(wěn)定，github地址為：https://github.com/vipshop/redis-migrate-tool 。

遷移工具的來源（source）可以是：單獨的redis實例，twemproxy集群，redis cluster，rdb文件，aof文件。
遷移工具的目標（target）可以是：單獨的redis實例，twemproxy集群，redis cluster，rdb文件。

目前測試的Redis版本為3.0.0，如果是4.0.x版本可能會報錯

[2019-07-31 16:57:50.393] rmt_redis.c:1517 MASTER <-> SLAVE sync: receiving 4860 bytes from master[172.16.255.34:7001@17001]
[2019-07-31 16:57:50.393] rmt_redis.c:1623 MASTER <-> SLAVE sync: RDB data for node[172.16.255.34:7001@17001] is received, used: 0 s
[2019-07-31 16:57:50.393] rmt_redis.c:1643 rdb file node172.16.255.34:7001@17001-1564563470312707-6709.rdb write complete
[2019-07-31 16:57:50.393] rmt_redis.c:6446 ERROR: Can't handle RDB format version -1549717496
[2019-07-31 16:57:50.393] rmt_redis.c:6715 ERROR: Rdb file for node[172.16.255.34:7001@17001] parsed failed

如上Can't handle RDB format version -1549717496為版本兼容問題，各個版本的.rdb是不兼容的，rmt工具似乎還不支持4.0.X。

可考慮降版本，如果開啟了appendonly yes，可通過.aof文件遷移。

當前集群數(shù)據(jù)存在

172.16.255.34:7000 172.16.255.34:7001
172.16.255.35:7002 172.16.255.35:7003
172.16.255.36:7004 172.16.255.36:7005

需要將集群的數(shù)據(jù)遷移到單實例的172.16.255.34:6379

安裝

依賴：

$ yum -y install automake libtool autoconf bzip2 git

安裝redis-migrate-tool：

$ git clone https://github.com/vipshop/redis-migrate-tool
$ cd redis-migrate-tool
$ autoreconf -fvi
$ ./configure
$ make

查看命令幫助可檢查是否安裝成功

$ src/redis-migrate-tool -h

如果出現(xiàn)

$ src/redis-migrate-tool -h
This is redis-migrate-tool-0.1.0

Usage: redis-migrate-tool [-?hVdIn] [-v verbosity level] [-o output file]
                  [-c conf file] [-C command]
                  [-f source address] [-t target address]
                  [-p pid file] [-m mbuf size] [-r target role]
                  [-T thread number] [-b buffer size]
....

安裝成功。

更多介紹查看redis-migrate-tool使用詳解

配置文件更改

redis-migrate-tool默認的配置文件為rmt.conf，更改如下

$ vi rmt.conf

[source]
type: redis cluster
servers :
-172.16.255.34:7000

[target]
type: single
servers:
-172.16.255.34:6379

[common]
listen: 0.0.0.0:8888

Esc :wq 保存退出。

source為集群，只需要配置一個servers就可以。

開始遷移

$ src/redis-migrate-tool -o log -d

開始在后臺運行遷移，查看運行日志 tail -200 log。

....
[2019-08-01 11:59:19.919] rmt_redis.c:6601 Rdb file for node[172.16.255.34:7000] parsed finished, use: 0 s.
[2019-08-01 11:59:19.919] rmt_redis.c:6709 All nodes' rdb file parsed finished for this write thread(0).

可看見All nodes' rdb file parsed finished則表示運行完成。

運行數(shù)據(jù)檢查

$ src/redis-migrate-tool -o log -d -C redis_check

默認抽樣1000個數(shù)據(jù)檢查

Check job is running...

Checked keys: 1000
Inconsistent value keys: 0
Inconsistent expire keys : 0
Other check error keys: 0
Checked OK keys: 1000

All keys checked OK!
Check job finished, used 1.041s

遷移成功~

如果中途遷移失敗，使用redis-cli -h 172.16.255.34，清除keys

172.16.255.34:6379> flushall

keys *檢查是否清空，以免list等數(shù)據(jù)遷移時會增量，redis_check會檢查一部分數(shù)據(jù)不一致，你會發(fā)現(xiàn)都是顯示list

[2019-07-31 17:00:27.185] rmt_check.c:848 ERROR: key checked failed: check key's value error, value is inconsistent. key(len:15, type:list): 509A4C6A4WAY_46

Java使用JedisCluster連接集群的改成JedisPool

@Override
public void afterPropertiesSet() throws Exception {
    if (mJedis == null) {
        mJedisPool = new JedisPool(genericObjectPoolConfig, hostName, Integer.valueOf(port), timeout);
        mJedis = mJedisPool.getResource();
    }
}

@Autowired
private Jedis jedis;

原文鏈接

推薦閱讀

• redis-migrate-tool使用詳解