Kafka

  • 2

    Kafka设计原理详解

    Kafka核心总控制器Controller 在Kafka集群中会有一个或者多个broker,其中有一个broker会被选举为控制器(Kafka Controller),它负责管理整个集群中所有分区和副本的状态。 当某个分区的leader副本出现故障时,由...

  • 6

    Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。 Kafka基础 消息系统的作用 应该大部份小伙伴都清楚,用机油装箱举个例子。 所以消息系统就是如上图...

  • 9

    Kafka 是如何实现事务的?

    Kafka 是一个高度可扩展的分布式消息系统,在海量数据处理生态中占据着重要的地位。 数据处理的一个关键特性是数据的一致性。具体到 Kafka 的领域中,也就是生产者生产的数据和消费者消费的数据之间一对一的一致性。在各种类型的...

  • 7

    Kafka入门(2):消费与位移

    摘要 在这篇文章中,我将从消息在Kafka中的物理存储方式讲起,介绍分区-日志段-日志的各个层次。 然后我将接着上一篇文章的内容,把消费者的内容展开讲一讲,区分消费者与消费者组,以及这么设计有什么用。 ...

  • 12

    Kafka基础知识总结

    点击关注上方“ 知了小巷 ”, 设为“置顶或星标”,第一时间送达干货。 1.Kafka分...

  • 14

    TheSupertubes approach to handling Kafka ACLs in Kubernetes provides a clearer way of seeing what's actually happening by introducing a logical separation of ACL components under the names: KafkaACL KafkaRole K...

  • 12

    Kafka源码解析(二)---Log分析

    上一篇文章讲了LogSegment和Log的初始化,这篇来讲讲Log的主要操作有哪些。 一般来说Log 的常见操作分为 4 大部分。 高水位管理操作 日志段管理 关键位移值管理 读写操作

  • 19

    Kafka 时间轮的原理和实现

    女主宣言 Kafka 作为一个支持实时处理大量请求的分布式流处理平台,需要一个设计良好的定时器来处理异步任务。本文作者将基于 Kafka 1.1.0 版本的源码来介绍 Kafka 中定时器的基础数据结构——时间轮的原理和实现。 PS:丰富的一线...

  • 18

    kafka 分区数和吞吐量的关系

    点击上方蓝字“极客运维”一起运筹帷幄 分区(partition)概念 要讲 kafka 分区...

  • 18

    Kafka压力测试

    一、测试目的 本次性能测试在正式环境下单台服务器上Kafka处理MQ消息能力进行压力测试。测试包括对Kafka写入MQ消息和消费M...