消息队列核心-如何保证消息不丢失
source link: http://cbaj.gitee.io/blog/2020/09/02/消息队列核心-如何保证消息不丢失/
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
使用消息队列，绕不开的一个问题就是如何保证消息不丢失，现在主流的消息中间件都提供了完整的消息可靠性保证机制，可以确保消息的可靠传递，本文以rocketMq为例介绍如何保证消息不丢失，其他消息队列类似
消息传递过程
基本上所有的消息都划分为三个阶段 生产、存储、消费 ，如下图
- 生产阶段: 在这个阶段，从消息在 Producer 创建出来，经过网络传输发送到 Broker 端。
- 存储阶段: 在这个阶段，消息在 Broker 端存储，如果是集群，消息会在这个阶段被复制到其他的副本上。
- 消费阶段: 在这个阶段，Consumer 从 Broker 上拉取消息，经过网络传输发送到 Consumer 上。
生产阶段
生产阶段一般是通过confirm机制，producer把消息发送给broker，broker收到消息后会给客户端响应回执，producer收到回执则完成一次完整的消息发送。producer如果没有收到响应回执则会重发。
存储阶段
如果Broker是单点的，可以通过参数设置，当消息持久化后再给响应回执，如果是 Broker 是由多个节点组成的集群，需要将 Broker 集群配置成：至少将消息发送到 2 个以上的节点，再给客户端回复发送确认响应。这样当某个 Broker 宕机时，其他的 Broker 可以替代宕机的 Broker，也不会发生消息丢失
消费阶段
消费阶段和生产阶段类似，都是通过confirm机制保障消息不丢失的，客户端从 Broker 拉取消息后，执行用户的消费业务逻辑，成功后，才会给 Broker 发送消费确认响应。如果 Broker 没有收到消费确认响应，下次拉消息的时候还会返回同一条消息，确保消息不会在网络传输过程中丢失，也不会因为客户端在执行消费逻辑中出错导致丢失。
Recommend
-
41
1.本篇概要其实，还有1种场景需要考虑：当消费者接收到消息后，还没处理完业务逻辑，消费者挂掉了，那消息也算丢失了？，比如用户下单，订单中心发送了1个消息到RabbitMQ里的队列，积分中心收到这个消息，准备给这个下单的用户增加20积分，但积分还没增加成功呢，...
-
43
目前消息队列有很多种，如kafaka、rocketMq、rabbitMq，所有消息队列的模型都比较类似，基本都包括像队列（Queue）、主题（Topic）或是分区（Partition）等概念。本文详细介绍下消息队列中这些概念的具体含义，文章参考：
-
10
面试官：请说下 Redis 是如何保证在宕机后数据不丢失的 ...
-
7
一、为什么会出现重复消费的问题？ RabbitMQ、RocketMQ、Kafka 都有可能出现重复消费的问题，导致重复消费的原因可能出现在生产者，也可能出现在 MQ 或 消费者。这里说的重复消费问题是指同一个数据被执行了两次，不单单指 MQ...
-
8
一、为什么消息会丢失？ 跟消息重复问题类似，消息丢失也可能出现在生产者、MQ、消费者三者中。这三者导致消息丢失的原因是什么呢？ 生产者：生产者推送消息到 MQ 中，由于网络抖动等原因消息没有推送到 MQ 中，...
-
8
如何保证消息队列的高可用？ 面试题剖析 如果有人问到你 MQ 的知识，高可用是必问的。这个问题这么问是很好的，因为不能问你 Kafka 的高可用性怎么保证？ActiveMQ 的高可用性怎么保证？一个面试官要是这么问就显得很没水...
-
4
原文链接：Go语言如何操纵Kafka保证无消息丢失目前一些互联网公司会使用消息队列来做核心业务，因为是核心业务，所以对数据的最后一致...
-
7
分布式系统中必备的一个中间件就是消息队列，通过消息队列我们能对服务间进行异步解耦、流量消峰、实现最终一致性。目前市面上已经有 RabbitMQ、RochetMQ、ActiveMQ、Kafka等，有人会问：“Redis 适合做消息队列么？”在回答这个问题...
-
7
每次都碰到面试官问我如何保证Kafka不丢失消息，快哭了 作者：石杉的架构笔记 2022-08-26 05:24:04 这篇文章，我们来聊聊在线上生产环境使用消息中间件技术的时候，从前到后的全链路到底如何保证数据不能丢失。
-
4
Redis能保证数据不丢失吗？ 2024-02-23 16:33 萤火架构 阅读(...
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK