27
消息队列核心-如何保证消息不丢失
source link: http://cbaj.gitee.io/blog/2020/09/02/消息队列核心-如何保证消息不丢失/
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
使用消息队列，绕不开的一个问题就是如何保证消息不丢失，现在主流的消息中间件都提供了完整的消息可靠性保证机制，可以确保消息的可靠传递，本文以rocketMq为例介绍如何保证消息不丢失，其他消息队列类似
消息传递过程
基本上所有的消息都划分为三个阶段 生产、存储、消费 ，如下图
- 生产阶段: 在这个阶段，从消息在 Producer 创建出来，经过网络传输发送到 Broker 端。
- 存储阶段: 在这个阶段，消息在 Broker 端存储，如果是集群，消息会在这个阶段被复制到其他的副本上。
- 消费阶段: 在这个阶段，Consumer 从 Broker 上拉取消息，经过网络传输发送到 Consumer 上。
生产阶段
生产阶段一般是通过confirm机制，producer把消息发送给broker，broker收到消息后会给客户端响应回执，producer收到回执则完成一次完整的消息发送。producer如果没有收到响应回执则会重发。
存储阶段
如果Broker是单点的，可以通过参数设置，当消息持久化后再给响应回执，如果是 Broker 是由多个节点组成的集群，需要将 Broker 集群配置成：至少将消息发送到 2 个以上的节点，再给客户端回复发送确认响应。这样当某个 Broker 宕机时，其他的 Broker 可以替代宕机的 Broker，也不会发生消息丢失
消费阶段
消费阶段和生产阶段类似，都是通过confirm机制保障消息不丢失的，客户端从 Broker 拉取消息后，执行用户的消费业务逻辑，成功后，才会给 Broker 发送消费确认响应。如果 Broker 没有收到消费确认响应，下次拉消息的时候还会返回同一条消息，确保消息不会在网络传输过程中丢失，也不会因为客户端在执行消费逻辑中出错导致丢失。
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK