CentOS7如何搭建Redis集群

一、手动搭建1. 准备节点

CentOS7 安装 Redis

节点数量至少为 6 个才能保证组成完整高可用的集群

(1) 目录结构cluster
├── 9001
│ ├── data
│ │ ├── appendonly.aof
│ │ └── nodes-9001.conf
│ ├── redis-9001.conf
│ └── redis-9001.log
├── 9002
│ ├── data
│ │ ├── appendonly.aof
│ │ └── nodes-9002.conf
│ ├── redis-9002.conf
│ └── redis-9002.log
... (2) 准备配置文件cd cluster
mkdir -p 9001/data 9002/data 9003/data 9004/data 9005/data 9006/data
cp ../redis-6.0.9/redis.conf 9001/redis-9001.conf
vi 9001/redis-9001.conf
port 9001
daemonize yes
bind 192.168.11.40
dir /root/cluster/9001/data/
pidfile /var/run/redis_9001.pid
cluster-enabled yes # 集群模式运行
cluster-config-file nodes-9001.conf
cluster-node-timeout 15000
# appendonly yes
logfile "
/root/cluster/9001/redis-9001.log"

复制 &
替换::%s/9001/9002/g

(3) 启动服务/usr/local/redis/bin/redis-server /root/cluster/9001/redis-9001.conf
...
tail 9001/redis-9001.log
kill `cat /var/run/redis_9001.pid`

启动后会自动在 data 目录创建集群配置文件nodes-9001.conf。当集群内节点信息发生变化时,节点会自动保存集群状态到该配置文件,最好不要手动修改。如果启动时存在集群配置文件,节点会使用配置文件内容初始化集群信息

$ cat 9001/data/nodes-9001.conf
8ccdb0963411ebd05ce21952bdd4b7597825afdc :0@0 myself,master - 0 0 0 connected
vars currentEpoch 0 lastVoteEpoch 0
$ /usr/local/redis/bin/redis-cli -h 192.168.11.40 -p 9001
192.168.11.40:9001>
cluster nodes
8ccdb0963411ebd05ce21952bdd4b7597825afdc :9001@19001 myself,master - 0 0 0 connected

节点 ID:40 位 16 进制字符串,用于唯一标识集群内一个节点。节点 ID 只创建一次,而运行 ID 每次重启都会变化

2. 节点握手

节点握手指一批运行在集群模式下的节点通过 Gossip 协议彼此通信,以互相感知

$ /usr/local/redis/bin/redis-cli -h 192.168.11.40 -p 9001
192.168.11.40:9001>
cluster meet 192.168.11.40 9002
OK
192.168.11.40:9001>
cluster nodes
8ccdb0963411ebd05ce21952bdd4b7597825afdc 192.168.11.40:9001@19001 myself,master - 0 0 0 connected
5786e3237c7fa413ed22465d15be721f95e72cfa 192.168.11.40:9002@19002 master - 0 1620703357871 1 connected

cluster meet 是一个异步命令,作用是节点彼此交换状态数据信息,执行之后立刻返回,在内部与目标节点进行握手通信:

  • 节点 9001 本地创建 9002 节点信息对象,并发送 meet 消息

  • 节点 9002 接受到 meet 消息后,保存 9001 节点信息并回复 pong 消息

  • 之后节点 9001 和 9002 彼此定期通过 ping/pong 消息进行节点通信

集群内任意节点都可执行 cluster meet 命令来加入新节点,握手状态会通过消息在集群内传播:其他节点会自动发现新节点并发起握手流程

节点建立握手之后集群还不能正常工作,此时集群处于下线状态,所有数据读写都被禁止。因为槽没有分配到节点,因此集群无法完成槽到节点的映射

192.168.11.40:9001>
set hello world
(error) CLUSTERDOWN Hash slot not served
192.168.11.40:9001>
cluster info
cluster_state:fail
cluster_slots_assigned:0
cluster_slots_ok:0
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:6
cluster_size:0
... 3. 分配槽

Redis 集群把所有的数据映射到 16384 个槽中。只有当槽全部分配给节点后,集群才进入在线状态

分配槽:

/usr/local/redis/bin/redis-cli -h 192.168.11.40 -p 9001 cluster addslots {0..5461}
/usr/local/redis/bin/redis-cli -h 192.168.11.40 -p 9002 cluster addslots {5462..10922}
/usr/local/redis/bin/redis-cli -h 192.168.11.40 -p 9003 cluster addslots {10923..16383}

查看集群信息:

192.168.11.40:9001>
cluster info
cluster_state:ok
cluster_slots_assigned:16384
cluster_slots_ok:16384
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:6
cluster_size:3
...
192.168.11.40:9001>
cluster nodes
cebb7ed63d469748d4015ede6b4a0f5ff59c9322 192.168.11.40:9006@19006 master - 0 1620704406746 0 connected
1b7785f80c4712c6ba4abd71cc93027fa85a02f8 192.168.11.40:9005@19005 master - 0 1620704406000 4 connected
8ccdb0963411ebd05ce21952bdd4b7597825afdc 192.168.11.40:9001@19001 myself,master - 0 1620704404000 2 connected 0-5461
9408059de8b2dd712f0a9381a3b7aad561aef206 192.168.11.40:9004@19004 master - 0 1620704407753 5 connected
85ceb9826e8aa003169c46fb4ba115c72002d4f9 192.168.11.40:9003@19003 master - 0 1620704407000 3 connected 10923-16383
5786e3237c7fa413ed22465d15be721f95e72cfa 192.168.11.40:9002@19002 master - 0 1620704408763 1 connected 5462-10922

每个负责处理槽的节点应该具有从节点,保证当它出现故障时可以自动进行故障转移

首次启动的节点和被分配槽的节点都是主节点,从节点负责复制主节点槽信息和相关的数据

192.168.11.40:9004>
cluster replicate 8ccdb0963411ebd05ce21952bdd4b7597825afdc
OK
192.168.11.40:9005>
cluster replicate 5786e3237c7fa413ed22465d15be721f95e72cfa
OK
192.168.11.40:9006>
cluster replicate 85ceb9826e8aa003169c46fb4ba115c72002d4f9
OK 192.168.11.40:9001>
cluster nodes
cebb7ed63d469748d4015ede6b4a0f5ff59c9322 192.168.11.40:9006@19006 slave 85ceb9826e8aa003169c46fb4ba115c72002d4f9 0 1620704825926 3 connected
1b7785f80c4712c6ba4abd71cc93027fa85a02f8 192.168.11.40:9005@19005 slave 5786e3237c7fa413ed22465d15be721f95e72cfa 0 1620704825000 1 connected
8ccdb0963411ebd05ce21952bdd4b7597825afdc 192.168.11.40:9001@19001 myself,master - 0 1620704824000 2 connected 0-5461
9408059de8b2dd712f0a9381a3b7aad561aef206 192.168.11.40:9004@19004 slave 8ccdb0963411ebd05ce21952bdd4b7597825afdc 0 1620704824921 2 connected
85ceb9826e8aa003169c46fb4ba115c72002d4f9 192.168.11.40:9003@19003 master - 0 1620704824000 3 connected 10923-16383
5786e3237c7fa413ed22465d15be721f95e72cfa 192.168.11.40:9002@19002 master - 0 1620704823914 1 connected 5462-10922 二、使用 redis-trib.rb 搭建集群(过时)

【Redis5.0 后使用 redis-cli 搭建集群】

redis-trib.rb 是采用 Ruby 实现的 Redis 集群管理工具。内部通过 Cluster 相关命令帮我们简化集群创建、检查、槽迁移和均衡等常见运维操作

1. Ruby 环境

安装 Ruby

wget https://cache.ruby-lang.org/pub/ruby/2.7/ruby-2.7.3.tar.gz
tar -zxvf ruby-2.7.3.tar.gz
cd ruby-2.7.3
./configure --prefix=/usr/local/ruby
make
make install
cd /usr/local/ruby
cp bin/ruby /usr/local/bin
cp bin/gem /usr/local/bin

安装 rubygem redis 依赖

wget http://rubygems.org/downloads/redis-4.2.5.gem
gem install -l redis-4.2.5.gem
gem list

遇到问题

$ gem install -l redis-4.2.5.gem
ERROR: Loading command: install (LoadError)
cannot load such file -- zlib
ERROR: While executing gem ... (NoMethodError)
undefined method `invoke_with_build_args'
for nil:NilClass

解决(openssl 同理)

yum -y install zlib-devel
cd ruby-2.7.3/ext/zlib
ruby ./extconf.rb
make
make install

安装 redis-trib.rb

cp /{redis_home}/src/redis-trib.rb /usr/local/bin
redis-trib.rb 2. 创建集群# --replicas 1:指定集群中每个主节点配备几个从节点
redis-trib.rb create --replicas 1 192.168.11.40:9001 192.168.11.40:9002 192.168.11.40:9003 192.168.11.40:9004 192.168.11.40:9005 192.168.11.40:9006
# 集群完整性检查
redis-trib.rb check 192.168.11.40:9001
  • CentOS7如何搭建Redis集群

    会自动完成节点握手和槽分配过程

  • 会尽可能保证主从节点不分配在同一机器下

  • 节点列表顺序用于确定主从角色,先主节点之后是从节点

  • 节点地址必须是不包含任何槽/数据的节点,否则会拒绝创建集群

三、使用 redis-cli 搭建集群redis-cli --cluster create 192.168.11.40:9001 192.168.11.40:9002 192.168.11.40:9003 192.168.11.40:9004 192.168.11.40:9005 192.168.11.40:9006 --cluster-replicas 1

一、Redis集群简介
Redis是一个高性能键值存储系统,支持多种数据结构,可用于缓存、消息队列、分布式锁等应用场景。Redis集群是将多个Redis节点组成一个逻辑集群,提供分布式存储和高可用性的解决方案。
二、Redis集群搭建步骤
1. 下载和安装Redis:从官方网站下载Redis,并解压到目标目录。在CentOS7上使用yum安装Redis,执行命令\"yum install redis\"即可。
2. 配置Redis节点:修改Redis配置文件,配置节点信息,包括节点地址、端口号、工作目录、数据持久化等。
3. 启动Redis节点:在每个节点上分别启动Redis服务,执行命令\"redis-server /path/to/redis.conf\"。
4. 创建Redis集群:使用Redis官方提供的redis-cli工具创建Redis集群。执行命令\"redis-cli --cluster create [node1_address:port1] [node2_address:port2] ... [nodeN_address:portN] --cluster-replicas N\",其中N为副本数量。
5. 测试Redis集群:测试Redis集群的读写性能和高可用性。执行命令\"redis-cli --cluster check [node_address:port]\"来检查集群是否正常运行。
三、Redis集群性能优化
1. 加入节点:可以通过添加节点方式扩展Redis集群,增加节点数量和副本数量,提高性能和可用性。
2. 数据持久化:使用Redis的数据持久化功能,将数据保存到磁盘中,避免数据丢失和重启时的数据加载。
3. 网络优化:使用高速网络和多网络接口方式,优化Redis集群的网络性能和负载均衡。
总结:Redis集群是一个高性能、高可用性的分布式存储解决方案。通过以上步骤和性能优化,我们可以轻松搭建和优化Redis集群,实现高效的分布式存储和应用。