酷应用

惊呆了，竟然可以用这种方式秒建 Redis 集群？

百家作者：CSDN 2020-03-26 13:18:11

作者 | 老王

来源 | Java 中文社区

前面我们讲了《Redis 性能优化的 13 条军规！》，其中最重要的一条就是使用 Redis 的集群功能，那么本文我们就来看看，如何用 1s 钟的时间来创建一个 Redis 集群。

Redis Cluster 是 Redis 3.0 版本推出的 Redis 集群方案，它将数据分布在不同的服务区上，以此来降低系统对单主节点的依赖，并且可以大大的提高 Redis 服务的读写性能。

Redis 将所有的数据分为 16384 个 slots(槽)，每个节点负责其中的一部分槽位，当有 Redis 客户端连接集群时，会得到一份集群的槽位配置信息，这样它就可以直接把请求命令发送给对应的节点进行处理。

Redis Cluster 是无代理模式去中心化的运行模式，客户端发送的绝大数命令会直接交给相关节点执行，这样大部分情况请求命令无需转发，或仅转发一次的情况下就能完成请求与响应，所以集群单个节点的性能与单机 Redis 服务器的性能是非常接近的，因此在理论情况下，当水平扩展一倍的主节点就相当于请求处理的性能也提高了一倍，所以 Redis Cluster 的性能是非常高的。

Redis Cluster 架构图如下所示：

秒建 Redis 集群

Redis Cluster 的搭建方式有两种，一种是使用 Redis 源码中提供的 create-cluster 工具快速的搭建 Redis 集群环境，另一种是配置文件的方式手动创建 Redis 集群环境。

1.快速搭建 Redis Cluster

create-cluster 工具在 utils/create-cluster 目录下，如下图所示：

使用命令 ./create-cluster start 就可以急速创建一个 Redis 集群，执行如下：

1$ ./create-cluster start # 创建集群
2Starting 30001
3Starting 30002
4Starting 30003
5Starting 30004
6Starting 30005
7Starting 30006

接下来我们需要把以上创建的 6 个节点节点通过 create 命令组成一个集群，执行如下：

 1[@iZ2ze0nc5n41zomzyqtksmZ:create-cluster]$ ./create-cluster create # 组建集群
 2>>> Performing hash slots allocation on 6 nodes...
 3Master[0] -> Slots 0 - 5460
 4Master[1] -> Slots 5461 - 10922
 5Master[2] -> Slots 10923 - 16383
 6Adding replica 127.0.0.1:30005 to 127.0.0.1:30001
 7Adding replica 127.0.0.1:30006 to 127.0.0.1:30002
 8Adding replica 127.0.0.1:30004 to 127.0.0.1:30003
 9>>> Trying to optimize slaves allocation for anti-affinity
10[WARNING] Some slaves are in the same host as their master
11M: 445f2a86fe36d397613839d8cc1ae6702c976593 127.0.0.1:30001
12   slots:[0-5460] (5461 slots) master
13M: 63bb14023c0bf58926738cbf857ea304bff8eb50 127.0.0.1:30002
14   slots:[5461-10922] (5462 slots) master
15M: 864d4dfe32e3e0b81a64cec8b393bbd26a65cbcc 127.0.0.1:30003
16   slots:[10923-16383] (5461 slots) master
17S: 64828ab44566fc5ad656e831fd33de87be1387a0 127.0.0.1:30004
18   replicates 445f2a86fe36d397613839d8cc1ae6702c976593
19S: 0b17b00542706343583aa73149ec5ff63419f140 127.0.0.1:30005
20   replicates 63bb14023c0bf58926738cbf857ea304bff8eb50
21S: e35f06ca9b700073472d72001a39ea4dfcb541cd 127.0.0.1:30006
22   replicates 864d4dfe32e3e0b81a64cec8b393bbd26a65cbcc
23Can I set the above configuration? (type 'yes' to accept): yes
24>>> Nodes configuration updated
25>>> Assign a different config epoch to each node
26>>> Sending CLUSTER MEET messages to join the cluster
27Waiting for the cluster to join
28.
29>>> Performing Cluster Check (using node 127.0.0.1:30001)
30M: 445f2a86fe36d397613839d8cc1ae6702c976593 127.0.0.1:30001
31   slots:[0-5460] (5461 slots) master
32   1 additional replica(s)
33M: 864d4dfe32e3e0b81a64cec8b393bbd26a65cbcc 127.0.0.1:30003
34   slots:[10923-16383] (5461 slots) master
35   1 additional replica(s)
36S: e35f06ca9b700073472d72001a39ea4dfcb541cd 127.0.0.1:30006
37   slots: (0 slots) slave
38   replicates 864d4dfe32e3e0b81a64cec8b393bbd26a65cbcc
39S: 0b17b00542706343583aa73149ec5ff63419f140 127.0.0.1:30005
40   slots: (0 slots) slave
41   replicates 63bb14023c0bf58926738cbf857ea304bff8eb50
42M: 63bb14023c0bf58926738cbf857ea304bff8eb50 127.0.0.1:30002
43   slots:[5461-10922] (5462 slots) master
44   1 additional replica(s)
45S: 64828ab44566fc5ad656e831fd33de87be1387a0 127.0.0.1:30004
46   slots: (0 slots) slave
47   replicates 445f2a86fe36d397613839d8cc1ae6702c976593
48[OK] All nodes agree about slots configuration.
49>>> Check for open slots...
50>>> Check slots coverage...
51[OK] All 16384 slots covered.

在执行的过程中会询问你是否通过把 30001、30002、30003 作为为主节点，把 30004、30005、30006 作为它们的从节点，输入 yes 后会执行完成。

我们可以先使用 redis-cli 连接到集群，命令如下：


1$ redis-cli -c -p 30001

在使用 nodes 命令来查看集群的节点信息，命令如下：


1127.0.0.1:30001> cluster nodes
2864d4dfe32e3e0b81a64cec8b393bbd26a65cbcc 127.0.0.1:30003@40003 master - 0 1585125835078 3 connected 10923-16383
3e35f06ca9b700073472d72001a39ea4dfcb541cd 127.0.0.1:30006@40006 slave 864d4dfe32e3e0b81a64cec8b393bbd26a65cbcc 0 1585125835078 6 connected
40b17b00542706343583aa73149ec5ff63419f140 127.0.0.1:30005@40005 slave 63bb14023c0bf58926738cbf857ea304bff8eb50 0 1585125835078 5 connected
563bb14023c0bf58926738cbf857ea304bff8eb50 127.0.0.1:30002@40002 master - 0 1585125834175 2 connected 5461-10922
6445f2a86fe36d397613839d8cc1ae6702c976593 127.0.0.1:30001@40001 myself,master - 0 1585125835000 1 connected 0-5460
764828ab44566fc5ad656e831fd33de87be1387a0 127.0.0.1:30004@40004 slave 445f2a86fe36d397613839d8cc1ae6702c976593 0 1585125835000 4 connected

可以看出 30001、30002、30003 都为主节点，30001 对应的槽位是 0-5460，30002 对应的槽位是 5461-10922，30003 对应的槽位是 10923-16383，总共有槽位 16384 个 (0 ~ 16383)。

30002 对应的槽位是 5461-10922，30003 对应的槽位是 10923-16383，总共有槽位 16384 个 (0 ~ 16383)。

create-cluster 搭建的方式虽然速度很快，但是该方式搭建的集群主从节点数量固定以及槽位分配模式固定，并且安装在同一台服务器上，所以只能用于测试环境。

我们测试完成之后，可以使用以下命令，关闭并清理集群：


1$ ./create-cluster stop # 关闭集群
2Stopping 30001
3Stopping 30002
4Stopping 30003
5Stopping 30004
6Stopping 30005
7Stopping 30006
8$ ./create-cluster clean # 清理集群

2.手动搭建 Redis Cluster

由于 create-cluster 本身的限制，在实际生产环境中我们需要使用手动添加配置的方式搭建 Redis 集群，为此我们先要把 Redis 安装包复制到 node1 到 node6 文件中，因为我们要安装 6 个节点，3 主 3 从，如下图所示：

接下来我们进行配置并启动 Redis 集群。

① 设置配置文件

我们需要修改每个节点内的 redis.conf 文件，设置 cluster-enabled yes 表示开启集群模式，并且修改各自的端口，我们继续使用 30001 到 30006，通过 port 3000X 设置。

② 启动各个节点

redis.conf 配置好之后，我们就可以启动所有的节点了，命令如下：


1cd /usr/local/soft/mycluster/node1
2./src/redis-server redis.conf

③ 创建集群并分配槽位

之前我们已经启动了 6 个节点，但这些节点都在各自的集群之内并未互联互通，因此接下来我们需要把这些节点串连成一个集群，并为它们指定对应的槽位，执行命令如下：


1redis-cli --cluster create 127.0.0.1:30001 127.0.0.1:30002 127.0.0.1:30003 127.0.0.1:30004 127.0.0.1:30005 127.0.0.1:30006 --cluster-replicas 1

其中 create 后面跟多个节点，表示把这些节点作为整个集群的节点，而 cluster-replicas 表示给集群中的主节点指定从节点的数量，1 表示为每个主节点设置一个从节点。

在执行了 create 命令之后，系统会为我们指定节点的角色和槽位分配计划，如下所示：


 1>>> Performing hash slots allocation on 6 nodes...
 2Master[0] -> Slots 0 - 5460
 3Master[1] -> Slots 5461 - 10922
 4Master[2] -> Slots 10923 - 16383
 5Adding replica 127.0.0.1:30005 to 127.0.0.1:30001
 6Adding replica 127.0.0.1:30006 to 127.0.0.1:30002
 7Adding replica 127.0.0.1:30004 to 127.0.0.1:30003
 8>>> Trying to optimize slaves allocation for anti-affinity
 9[WARNING] Some slaves are in the same host as their master
10M: bdd1c913f87eacbdfeabc71befd0d06c913c891c 127.0.0.1:30001
11   slots:[0-5460] (5461 slots) master
12M: bdd1c913f87eacbdfeabc71befd0d06c913c891c 127.0.0.1:30002
13   slots:[5461-10922] (5462 slots) master
14M: bdd1c913f87eacbdfeabc71befd0d06c913c891c 127.0.0.1:30003
15   slots:[10923-16383] (5461 slots) master
16S: bdd1c913f87eacbdfeabc71befd0d06c913c891c 127.0.0.1:30004
17   replicates bdd1c913f87eacbdfeabc71befd0d06c913c891c
18S: bdd1c913f87eacbdfeabc71befd0d06c913c891c 127.0.0.1:30005
19   replicates bdd1c913f87eacbdfeabc71befd0d06c913c891c
20S: bdd1c913f87eacbdfeabc71befd0d06c913c891c 127.0.0.1:30006
21   replicates bdd1c913f87eacbdfeabc71befd0d06c913c891c
22Can I set the above configuration? (type 'yes' to accept):

从以上信息可以看出，Redis 打算把 30001、30002、30003 设置主节点，并为他们分配的槽位，30001 对应的槽位是 0-5460，30002 对应的槽位是 5461-10922，30003 对应的槽位是 10923-16383，并且把 30005 设置为 30001 的从节点、30006 设置为 30002 的从节点、30004 设置为 30003 的从节点，我们只需要输入 yes 即可确认并执行分配，如下所示：

 1Can I set the above configuration? (type 'yes' to accept): yes
 2>>> Nodes configuration updated
 3>>> Assign a different config epoch to each node
 4>>> Sending CLUSTER MEET messages to join the cluster
 5Waiting for the cluster to join
 6....
 7>>> Performing Cluster Check (using node 127.0.0.1:30001)
 8M: 887397e6fefe8ad19ea7569e99f5eb8a803e3785 127.0.0.1:30001
 9   slots:[0-5460] (5461 slots) master
10   1 additional replica(s)
11S: abec9f98f9c01208ba77346959bc35e8e274b6a3 127.0.0.1:30005
12   slots: (0 slots) slave
13   replicates 887397e6fefe8ad19ea7569e99f5eb8a803e3785
14S: 1a324d828430f61be6eaca7eb2a90728dd5049de 127.0.0.1:30004
15   slots: (0 slots) slave
16   replicates f5958382af41d4e1f5b0217c1413fe19f390b55f
17S: dc0702625743c48c75ea935c87813c4060547cef 127.0.0.1:30006
18   slots: (0 slots) slave
19   replicates 3da35c40c43b457a113b539259f17e7ed616d13d
20M: 3da35c40c43b457a113b539259f17e7ed616d13d 127.0.0.1:30002
21   slots:[5461-10922] (5462 slots) master
22   1 additional replica(s)
23M: f5958382af41d4e1f5b0217c1413fe19f390b55f 127.0.0.1:30003
24   slots:[10923-16383] (5461 slots) master
25   1 additional replica(s)
26[OK] All nodes agree about slots configuration.
27>>> Check for open slots...
28>>> Check slots coverage...
29[OK] All 16384 slots covered.

显示 OK 表示整个集群就已经成功启动了。

接下来，我们使用 redis-cli 连接并测试一下集群的运行状态，代码如下：


 1$ redis-cli -c -p 30001 # 连接到集群
 2127.0.0.1:30001> cluster info # 查看集群信息
 3cluster_state:ok # 状态正常
 4cluster_slots_assigned:16384 # 槽位数
 5cluster_slots_ok:16384 # 正常的槽位数
 6cluster_slots_pfail:0
 7cluster_slots_fail:0
 8cluster_known_nodes:6 # 集群的节点数
 9cluster_size:3 # 集群主节点数
10cluster_current_epoch:6
11cluster_my_epoch:1
12cluster_stats_messages_ping_sent:130
13cluster_stats_messages_pong_sent:127
14cluster_stats_messages_sent:257
15cluster_stats_messages_ping_received:122
16cluster_stats_messages_pong_received:130
17cluster_stats_messages_meet_received:5
18cluster_stats_messages_received:257

相关字段的说明已经标识在上述的代码中了，这里就不再赘述。

动态增删节点

某些情况下，我们需要根据实际的业务情况，对已经在运行的集群进行动态的添加或删除节点，那我们就需要进行以下操作。

1.增加主节点

添加方式一：cluster meet

使用 cluster meet ip:port 命令就可以把一个节点加入到集群中，执行命令如下：


 1127.0.0.1:30001> cluster meet 127.0.0.1 30007
 2OK
 3127.0.0.1:30001> cluster nodes
 4dc0702625743c48c75ea935c87813c4060547cef 127.0.0.1:30006@40006 slave 3da35c40c43b457a113b539259f17e7ed616d13d 0 1585142916000 6 connected
 5df0190853a53d8e078205d0e2fa56046f20362a7 127.0.0.1:30007@40007 master - 0 1585142917740 0 connected
 6f5958382af41d4e1f5b0217c1413fe19f390b55f 127.0.0.1:30003@40003 master - 0 1585142916738 3 connected 10923-16383
 73da35c40c43b457a113b539259f17e7ed616d13d 127.0.0.1:30002@40002 master - 0 1585142913000 2 connected 5461-10922
 8abec9f98f9c01208ba77346959bc35e8e274b6a3 127.0.0.1:30005@40005 slave 887397e6fefe8ad19ea7569e99f5eb8a803e3785 0 1585142917000 5 connected
 9887397e6fefe8ad19ea7569e99f5eb8a803e3785 127.0.0.1:30001@40001 myself,master - 0 1585142915000 1 connected 0-5460
101a324d828430f61be6eaca7eb2a90728dd5049de 127.0.0.1:30004@40004 slave f5958382af41d4e1f5b0217c1413fe19f390b55f 0 1585142916000 4 connected

可以看出端口为 30007 的节点并加入到集群中，并设置成了主节点。

添加方式二：add-node

使用 redis-cli --cluster add-node 添加节点ip:port 集群某节点ip:port 也可以把一个节点添加到集群中，执行命令如下：

 1$ redis-cli --cluster add-node 127.0.0.1:30008 127.0.0.1:30001
 2>>> Adding node 127.0.0.1:30008 to cluster 127.0.0.1:30001
 3>>> Performing Cluster Check (using node 127.0.0.1:30001)
 4M: 887397e6fefe8ad19ea7569e99f5eb8a803e3785 127.0.0.1:30001
 5   slots:[0-5460] (5461 slots) master
 6   1 additional replica(s)
 7S: dc0702625743c48c75ea935c87813c4060547cef 127.0.0.1:30006
 8   slots: (0 slots) slave
 9   replicates 3da35c40c43b457a113b539259f17e7ed616d13d
10M: df0190853a53d8e078205d0e2fa56046f20362a7 127.0.0.1:30007
11   slots: (0 slots) master
12M: f5958382af41d4e1f5b0217c1413fe19f390b55f 127.0.0.1:30003
13   slots:[10923-16383] (5461 slots) master
14   1 additional replica(s)
15M: 1d09d26fd755298709efe60278457eaa09cefc26 127.0.0.1:30008
16   slots: (0 slots) master
17M: 3da35c40c43b457a113b539259f17e7ed616d13d 127.0.0.1:30002
18   slots:[5461-10922] (5462 slots) master
19   1 additional replica(s)
20S: abec9f98f9c01208ba77346959bc35e8e274b6a3 127.0.0.1:30005
21   slots: (0 slots) slave
22   replicates 887397e6fefe8ad19ea7569e99f5eb8a803e3785
23S: 1a324d828430f61be6eaca7eb2a90728dd5049de 127.0.0.1:30004
24   slots: (0 slots) slave
25   replicates f5958382af41d4e1f5b0217c1413fe19f390b55f
26[OK] All nodes agree about slots configuration.
27>>> Check for open slots...
28>>> Check slots coverage...
29[OK] All 16384 slots covered.
30[ERR] Node 127.0.0.1:30008 is not empty. Either the node already knows other nodes (check with CLUSTER NODES) or contains some key in database 0.

从以上结果可以看出 30008 节点也被设置成了主节点。

2.添加从节点

使用 cluster replicate nodeId 命令就可以把当前节点设置为目标节点的从节点，执行命令如下：

 1127.0.0.1:30008> cluster replicate df0190853a53d8e078205d0e2fa56046f20362a7
 2OK
 3127.0.0.1:30008> cluster nodes
 4df0190853a53d8e078205d0e2fa56046f20362a7 127.0.0.1:30007@40007 master - 0 1585147827000 0 connected
 5abec9f98f9c01208ba77346959bc35e8e274b6a3 127.0.0.1:30005@40005 slave 887397e6fefe8ad19ea7569e99f5eb8a803e3785 0 1585147827000 1 connected
 61a324d828430f61be6eaca7eb2a90728dd5049de 127.0.0.1:30004@40004 slave f5958382af41d4e1f5b0217c1413fe19f390b55f 0 1585147823000 3 connected
 7887397e6fefe8ad19ea7569e99f5eb8a803e3785 127.0.0.1:30001@40001 master - 0 1585147826000 1 connected 0-5460
 8dc0702625743c48c75ea935c87813c4060547cef 127.0.0.1:30006@40006 slave 3da35c40c43b457a113b539259f17e7ed616d13d 0 1585147826930 2 connected
 9f5958382af41d4e1f5b0217c1413fe19f390b55f 127.0.0.1:30003@40003 master - 0 1585147826000 3 connected 10923-16383
101d09d26fd755298709efe60278457eaa09cefc26 127.0.0.1:30008@40008 myself,slave df0190853a53d8e078205d0e2fa56046f20362a7 0 1585147823000 7 connected
113da35c40c43b457a113b539259f17e7ed616d13d 127.0.0.1:30002@40002 master - 0 1585147827933 2 connected 5461-10922

可以看出 30008 已经变为 30007 的从节点了。

3.删除节点

使用 cluster forget nodeId 命令就可以把一个节点从集群中移除。此命令和 meet 命令不同的时，删除节点需要是使用节点的 Id 进行删除，可以通过 cluster nodes 命令查看所有节点的 Id 信息，其中每一行的最前面的 40 位字母和数组的组合就是该节点的 Id，如下图所示：

执行命令如下：


1127.0.0.1:30001> cluster forget df0190853a53d8e078205d0e2fa56046f20362a7
2OK

此时我们使用 cluster nodes 命令查看集群的所有节点信息：


1127.0.0.1:30001> cluster nodes
2dc0702625743c48c75ea935c87813c4060547cef 127.0.0.1:30006@40006 slave 3da35c40c43b457a113b539259f17e7ed616d13d 0 1585143789940 6 connected
3f5958382af41d4e1f5b0217c1413fe19f390b55f 127.0.0.1:30003@40003 master - 0 1585143791000 3 connected 10923-16383
43da35c40c43b457a113b539259f17e7ed616d13d 127.0.0.1:30002@40002 master - 0 1585143789000 2 connected 5461-10922
5abec9f98f9c01208ba77346959bc35e8e274b6a3 127.0.0.1:30005@40005 slave 887397e6fefe8ad19ea7569e99f5eb8a803e3785 0 1585143789000 5 connected
6887397e6fefe8ad19ea7569e99f5eb8a803e3785 127.0.0.1:30001@40001 myself,master - 0 1585143786000 1 connected 0-5460
71a324d828430f61be6eaca7eb2a90728dd5049de 127.0.0.1:30004@40004 slave f5958382af41d4e1f5b0217c1413fe19f390b55f 0 1585143791945 4 connected