拼多多面试:为什么RedisCluster有16384个槽?
source link: https://www.tuicool.com/articles/RRJniey
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
面试官 :你知道为什么RedisCluster有 16384 个slot么?
我 :应该是作者脑袋一热随意定的一个数值吧?(心里嘀咕:如果 antirez 当时定的是8192,你又该怎么问呢?)
面试官 :。。。,今天的面试就到这里,你回去等消息吧
我 :。。。
引言
现在redis集群架构,redis cluster用的会比较多。架构图如下图所示:
对于客户端请求的key,根据公式
HASH_SLOT=CRC16(key) mod 16384
,计算出映射到哪个分片上,然后Redis会去相应的节点进行操作!
那大家思考过,为什么有16384个槽么?
ps
: CRC16
算法产生的hash值有16bit,该算法可以产生2^16-=65536个值。换句话说,值是分布在0~65535之间。那作者在做 mod
运算的时候,为什么不 mod
65536,而选择 mod
16384?
其实我当初第一次思考这个问题的时候,我心里是这么想的,作者应该是觉得16384就够了,然后我就开始查这方面资料。
很幸运的是,这个问题,作者是给出了回答的!
地址如下:
https://github.com/antirez/redis/issues/2576
作者原版回答如下:
The reason is:
-
Normal heartbeat packets carry the full configuration of a node, that can be replaced in an idempotent way with the old in order to update an old config. This means they contain the slots configuration for a node, in raw form, that uses 2k of space with16k slots, but would use a prohibitive 8k of space using 65k slots.
-
At the same time it is unlikely that Redis Cluster would scale to more than 1000 mater nodes because of other design tradeoffs.
So 16k was in the right range to ensure enough slots per master with a max of 1000 maters, but a small enough number to propagate the slot configuration as a raw bitmap easily. Note that in small clusters the bitmap would be hard to compress because when N is small the bitmap would have slots/N bits set that is a large percentage of bits set.
因此,能看懂上面那段话的读者。这篇文章不用看了,因为作者讲的很清楚了。本文只是对上面那段话做一些解释而已。
正文
基础
我们回忆一下 Redis Cluster
的工作原理!
这里要先将节点握手讲清楚。我们让两个redis节点之间进行通信的时候,需要在客户端执行下面一个命令
127.0.0.1:7000>cluster meet 127.0.0.1:7001
如下图所示
意思很简单,让7000节点和7001节点知道彼此存在!
在握手成功后,两个节点之间会 定期 发送ping/pong消息,交换 数据信息,如下图所示。
在这里,我们需要关注三个重点。
-
(1)交换什么数据信息
-
(2)数据信息究竟多大
-
(3)定期的频率什么样
到底在交换什么数据信息?
交换的数据信息,由消息体和消息头组成。
消息体无外乎是一些节点标识啊,IP啊,端口号啊,发送时间啊。这与本文关系不是太大,我不细说。
我们来看消息头,结构如下
注意看红框的内容,type表示消息类型。
另外,消息头里面有个myslots的char数组,长度为16383/8,这其实是一个bitmap,每一个位代表一个槽,如果该位为1,表示这个槽是属于这个节点的。
到底数据信息究竟多大?
在消息头中,最占空间的是 myslots[CLUSTER_SLOTS/8]
。这块的大小是:
16384÷8÷1024=2kb
那在消息体中,会携带一定数量的其他节点信息用于交换。
那这个其他节点的信息,到底是几个节点的信息呢?
约为集群总节点数量的1/10,至少携带3个节点的信息。
这里的重点是:节点数量越多,消息体内容越大。
消息体大小是10个节点的状态信息约1kb。
那定期的频率是什么样的?
redis集群内节点,每秒都在发ping消息。规律如下
-
(1)每秒会随机选取5个节点,找出最久没有通信的节点发送ping消息
-
(2)每100毫秒(1秒10次)都会扫描本地节点列表,如果发现节点最近一次接受pong消息的时间大于cluster-node-timeout/2 则立刻发送ping消息
因此,每秒单节点发出ping消息数量为
1+10*num(node.pong_received>cluster_node_timeout/2)
那大致带宽损耗如下所示,图片来自《Redis开发与运维》
讲完基础知识以后,我们可以来看作者的回答了。
回答
(1)如果槽位为65536,发送心跳信息的消息头达8k,发送的心跳包过于庞大。
如上所述,在消息头中,最占空间的是 myslots[CLUSTER_SLOTS/8]
。
当槽位为65536时,这块的大小是:
65536÷8÷1024=8kb
因为每秒钟,redis节点需要发送一定数量的ping消息作为心跳包,如果槽位为65536,这个ping消息的消息头太大了,浪费带宽。
(2)redis的集群主节点数量基本不可能超过1000个。
如上所述,集群节点越多,心跳包的消息体内携带的数据越多。如果节点过1000个,也会导致网络拥堵。因此redis作者,不建议redis cluster节点数量超过1000个。
那么,对于节点数在1000以内的redis cluster集群,16384个槽位够用了。没有必要拓展到65536个。
(3)槽位越小,节点少的情况下,压缩率高
Redis主节点的配置信息中,它所负责的哈希槽是通过一张bitmap的形式来保存的,在传输过程中,会对bitmap进行压缩,但是如果bitmap的填充率slots / N很高的话(N表示节点数),bitmap的压缩率就很低。
如果节点数很少,而哈希槽数量很多的话,bitmap的压缩率就很低。
ps
:文件压缩率指的是,文件压缩前后的大小比。
综上所述,作者决定取16384个槽,不多不少,刚刚好!
总结
希望大家有所收获!
【阿飞的博客】 公众号二维码
↓↓↓↓
Recommend
-
54
当长尾用户成为互联网主流,情况就变了
-
45
问与答 - @yrzx404 - 这家国内公司,在国内用户的口碑并不好,但是为什么有这么高的市值?如果你去各个股票论坛下的评论,都会发现一大波人在骂它。
-
40
拼多多为什么爆红?得“小镇青年”得天下
-
27
拼多多的快速崛起,也印证了中国互联网十几年来不变的一句真理,“得屌丝者得天下”。
-
43
昨天(8月2日),湖畔大学产品模块学术主任,百度集团顾问,人称“中关村第一才女”的梁宁在得到APP上,就最近最火的拼多多展开了一系列分析。拼多多为什么崛起?拼多多的用户体验有何不同?对拼多多用户有怎样的洞察?首席品牌官把直播内容整理后,分享
-
59
发展不到三年的拼多多,已经完成了上市,尽管它的口碑不是很好,可它确实在一众的拼团产品中脱颖而出。 拼多多垃圾 拼多多卖假货 拼多多过度打扰用户 ...... 最近全网对拼多多一片指责,但在商业一家公司能做到上市,那肯定有它的独到之处,我们不如放下偏见,理性...
-
53
阿里、拼多多面试分享:已获技术专家Offer 今年大环境不好,但还是毅然决然的出去试了试,而我这次面试的目标期待,是找一个知名互联网公司的技术专家的职位。 ...
-
25
扫描下方二维码 试读
-
35
前言 离职原因看我这篇文章吧: 离开蘑菇街后,我最近的一些想法 ,然后不得不去找工作恰饭呀。 我目前面了五家公司:滴滴、蚂蚁、拼多多、酷家...
-
11
拼多多、酷家乐面试总结桃翁公众号:前端桃园离职原因看我这篇文章吧:
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK