kafka消费者内存一直上涨
source link: https://www.oschina.net/question/4175317_2324548
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
kafka消费者内存一直上涨
spring-kafka 版本：1.3.4.RELEASE
消费者三台机器（每台内存不到8G），消费10几个topic，每个topic 3个分区
为什么内存一直上升，不释放
以下是问题补充：
一些push类型的MQ，都有prefetch特性，就是broker会多push一些msg给consumer，来提高吞吐量，这些在consumer端还没来得及处理的msg就占用consumer的内存。
但Kafka是pull类型的MQ，你看看会不会是类似的问题，kakfa为了提高吞吐量有没有相关设置。
Recommend
-
47
分享发现 - @exoticknight - 个人购买技术产品的经历分享，应该也算分享发现吧。虽然很糗，但是希望其他人不要重蹈覆辙还是发出来了。本来一直都很鄙视拼多多的。一直看到其被爆假货问题，售后问题，公司形象就是流氓。但毕竟这些都只是
-
61
Kafka Java Consumer从Kafka 0.10.1.0开始，KafkaConsumer变成了 双线程 设计，即 用户主线程 和 心跳线程 用户主线程：启动Consumer应用程序main方法的那个线程
-
76
消费者会为每个要消费的分区创建与该分区 领导者副本 所在Broker的Socket连接 假设消费者要消费5个分区的数据，这5个分区各自的领导者副本分布在4台Broker上 那么消费者在消费时会创建与...
-
9
Kafka 独立消费者 以前我们讨论的消费组，都是 group 的形式，group 可以自动地帮助消费者分配分区，且在发生异常时，还能自定地进行重平衡（Rebalance）。正常来说，group 帮助用户实现自动监听分区消费，但是在用户需要指定...
-
10
SpringBoot使用Testcontainers+Avro消息测试Kafka消费者您有一个 Spring Boot 微服务来管理用户数据。该微服务侦听来自 Kafka 的传入事件（例如用户创建、更新或删除），将它们转换为您自己的业务对象，将它们写入 PostgreSQL 数据库并通过 REST 接口将它们提供...
-
9
Kafka消费者消息拉取机制工作中有对Kafka重度使用的项目，其实很早就想写这一篇，但是当时也看到过一些类似的文章以及有一些其他的分享内容，所以一直拖到现在。对Kafka的使用聚焦在消费端，所以详细聊一下Kafka consumer消费过程中是如何拉取数据的。...
-
10
消息队列之kafka 消费者的Offset管理 发表于 2021-01-21 ...
-
3
这是崔斯特的第一百一十三篇原创文章 努力、奋斗 (๑• . •๑) 应用程序使用 KafkaConsumer向 Kafka 订阅 Topic 接收消息，首先理解 Kafka 中消费者（consumer）和消费者组（consumer group）的概念和特性。 KafkaConsume...
-
10
一、消费者相关概念 1.1 消费组&消费者 消费者： 消费者从订阅的主题消费消息，消费消息的偏移量保存在Kafka的名字是__consumer_offsets的主题中
-
5
英伟达RTX 4060 Ti 16GB版本备受争议，售价上涨却未能吸引消费者
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK