您好,欢迎访问代理记账网站
  • 价格透明
  • 信息保密
  • 进度掌控
  • 售后无忧

redis系列:redis 集群

RedisCluster 是 redis 的分布式解决方案,在 3.0 版本后推出的方案,有效地解决了 Redis 分布式的需求,当遇到单机内存、并发等瓶颈时,可使用此方案来解决这些问题

1 分布式数据库概念:
1,分布式数据库把整个数据按分区规则映射到多个节点,即把数据划分到多个节 点上,每个节点负责整体数据的一个子集 比如我们库有 900 条用户数据,有 3 个 redis 节点,将 900 条分成 3 份,分别存入 到 3个 redis 节点

2,分区规则:

常见的分区规则哈希分区和顺序分区,redis 集群使用了哈希分区,顺序分区暂 用不到,不做具体说明;

rediscluster 采用了哈希分区的“虚拟槽分区”方式(哈希分区分节点取余、一 900 条数据 分区规则 redis-1 redis-2 redis-3致性哈希分区和虚拟槽分区),其它两种也不做介绍,有兴趣可以百度了解一下。

3,虚拟槽分区(槽:slot)

RedisCluster 采用此分区,所有的键根据哈希函数(CRC16[key]&16383)映射到 0 -16383 槽内,共 16384 个槽位,每个节点维护部分槽及槽所映射的键值数据

哈希函数: Hash()=CRC16[key]&16383 按位与

槽与节点的关系如下

redis 用虚拟槽分区原因:1,解耦数据与节点关系,节点自身维护槽映射关系,分布式存储

4,redisCluster 的缺陷:

a,键的批量操作支持有限,比如 mset, mget,如果多个键映射在不同的槽, 就不支持了

b,键事务支持有限,当多个 key 分布在不同节点时无法使用事务,同一节点 是支持事务

c,键是数据分区的最小粒度,不能将一个很大的键值对映射到不同的节点

d,不支持多数据库,只有 0,select 0 e,复制结构只支持单层结构,不支持树型结构。

2 集群环境搭建:

1,在/usr/local/bin/clusterconf 目录

6389 为 6379 的从节点,6390 为 6380 的从节点,6391 为 638

2,分别修改 6379、 6380、 7381、 6389、 6390、 6391 配置文件

port 6379 //节点端口

cluster-enabled yes //开启集群模式

cluster-node-timeout 15000 //节点超时时间(接收pong消息回复的时间)

cluster-config-file /usrlocalbin/cluster/data/nodes-6379.conf 集群内部配置文件 其它节点的配置和这个一致,改端口即可

3,配置完后,启动 6 个 redis 服务

4,自动安装模式: 在/usr/local 新建目录:ruby

下载链接:https://pan.baidu.com/s/1kWsf3Rh 密码:n3pc

从这个链接下载 ruby-2.3.1.tar.gz 和 redis-3.3.0.gem

tar -zxvf ruby-2.3.1.tar.gz

a, cd ruby-2.3.1

b, ./configure -prefix=/usr/local/ruby

c, make && make install //过程会有点慢,大概 5-10 分钟

d, 然后 gem install -l redis-3.3.0.gem //没有 gem 需要安装 yum install gem

e, 准 备 好 6 个 节 点 ,( 注 意 不 要 设 置 requirepass ) , 将 /usr/local/bin/clusterconf/data 的 config-file 删 除 ; 依 次 启 动 6 个 节 点:./redis-server clusterconf/redis6379.conf 如果之前 redis 有数据存在,flushall 清空;(坑:不需要 cluster meet ..)

f, 进入 cd /usr/local/bin, 执行以下:1 代表从节点的个数 ./redis-trib.rb create --replicas 1 192.168.0.111:6379 192.168.0.111:6380 192.168.0.111:6381 192.168.0.111:6389 192.168.0.111:6390 192.168.0.111:6391

主从分配,6379 是 6389 的从节点

貌似只有主节点可读写,从节点不可以

主节点死后,从节点变成主节点

e,集群健康检测: redis-trib.rb check 192.168.42.111:6379 (注:redis 先去注释掉 requirepass,不然 连不上)

如此出现了这个问题,6379 的 5798 槽位号被打开了

解决如下:

6379,6380,6381 的有部分槽位被打开了,分别进入这几个节点,执行

6380:>cluster setslot 1180 stable cluster setslot 2998 stable cluster setslot 11212 stable

其它也一样,分别执行修复完后:

 

此时修复后的健康正常;

当停掉 6379 后,过会 6389 变成主节点

注意:使用客户端工具查询时要加-c

./redis-cli -h 192.168.42.111 -p 6379 -c mset aa bb cc dd,批设置对应在不同的 solt 上,缺点

14,集群正常启动后,在每个 redis.conf 里加上

masterauth “12345678”

requiredpass “12345678”

当主节点下线时,从节点会变成主节点,用户和密码是很有必要的,设置成一致

15,这上面是一主一从,那能不能一主多从呢?

./redis-trib.rb create --replicas 2

192.168.42.111:6379 192.168.42.111:6380 192.168.42.111:6381

192.168.42.111:6479 192.168.42.111:6480 192.168.42.111:6481

192.168.42.111:6579 192.168.42.111:6580 192.168.42.111:6581

3 节点之间的通信

1,节点之间采用 Gossip 协议进行通信,Gossip 协议就是指节点彼此之间不断 通信交换信息

当主从角色变化或新增节点,彼此通过 ping/pong 进行通信知道全部节点的最新状 态并达到集群同步

2,Gossip 协议

Gossip 协议的主要职责就是信息交换,信息交换的载体就是节点之间彼此发送 的 Gossip 消息,常用的 Gossip 消息有 ping 消息、pong 消息、meet 消息、fail 消息
 

 

meet 消息:用于通知新节点加入,消息发送者通知接收者加入到当前集群,meet 消息通信完后,接收节点会加入到集群中,并进行周期性 ping pong 交换

ping 消息:集群内交换最频繁的消息,集群内每个节点每秒向其它节点发 ping 消 息,用于检测节点是在在线和状态信息,ping 消息发送封装自身节点和其他节点的状态 数据;

pong 消息,当接收到 ping meet 消息时,作为响应消息返回给发送方,用来确认正 常通信,pong 消息也封闭了自身状态数据;

fail 消息:当节点判定集群内的另一节点下线时,会向集群内广播一个 fail 消息, 后面会讲到。……

 

 

 

 

 

 

 


分享:

低价透明

统一报价,无隐形消费

金牌服务

一对一专属顾问7*24小时金牌服务

信息保密

个人信息安全有保障

售后无忧

服务出问题客服经理全程跟进