Kafka 中的消息是以文件的方式持久化到磁盘中进行存储的，这是 Kafka 的一个关键特性，确保消息的可靠性和可用性。Kafka中的消息是通过以下方式进行存储的： Partition 分区：Partition是Kafka中消息存储的基本单位，每个Topic下的消息都会被划分成多个Partition
Published on 2024-04-24
Kafka中的消息是通过分区（Partition）分配给不同的消费者的。Kafka将每个Topic划分为多个Partition，每个Partition存储一部分消息。消费者通过订阅Topic来消费消息，而Kafka将Partition中的消息按照一定的分配策略分配给消费者组中的不同消费者。 Kafk
Published on 2024-04-24
零拷贝是操作系统提供的一种优化 IO 操作的重要机制。通过零拷贝技术，操作系统可以极大的减少在一次 IO 操作中，数据从一个内存区域复制到另一个内存区域的次数，以及在此过程中对 CPU 的性能消耗。零拷贝技术可以极大的提高数据传输的效率，避免不必要的数据拷贝，从而降低系统负载。 零拷贝有两种实现方式
Published on 2024-04-24
在Kafka中，消息的传递主要涉及三个环节：生产者生产消息、broker保存消息和消费者消费消息。 生产者生产消息：生产者负责将消息发布到Kafka broker。在发布消息时，生产者需要指定目标主题。消息被写入后，将被存储在指定分区的当前副本中。当发送消息失败时，生产者还会提供确认以及重试机制，以
Published on 2024-04-24
为了保证消息在传递过程当中，消息不会丢失或者被重复传递，Kafka 设计了非常多的重要机制来保证消息的可靠性。例如 数据冗余：Kafka通过将消息副本（replica）的方式来实现数据冗余，每个topic都可以配置副本数量，副本数量越多，数据可靠性越高，但会占用更多的存储空间和网络带宽。在 Kafk
Published on 2024-04-24
Kafka 和 RabbitMQ 都是流行的消息中间件系统，他们各自都有一些优势和适用场景。以下是 Kafka 相对于 RabbitMQ 的一些比较明显的优势： 分布式架构： Kafka 是为大规模分布式流处理而设计的，具有高度可伸缩性。RabbitMQ 虽然也支持分布式架构，但相对而言，Kafka
Published on 2024-04-24
在Kafka中，Topic和Partition是两个密切相关的概念。 Topic是Kafka中消息的逻辑分类，可以看作是一个消息的存储类别。它是按照不同的主题对消息进行分类，并且可以用于区分和筛选数据。每个Topic可以有多个Partition，每个Partition都是Topic的一个子集，包含了
Published on 2024-04-24
Kafka 是一个分布式流处理平台，最初由LinkedIn开发并开源，后来成为Apache软件基金会的一个顶级项目。它被设计用于高吞吐量、持久性、分布式的数据流处理。 Kafka 实现了一套非常高效的订阅-发布模型，应用场景非常广泛。比如 日志聚合：Kafka 通常用于收集和聚合分布式系统中产生的日
Published on 2024-04-24
Zookeeper集群的数据同步过程如下： 集群启动时，会先进行领导者选举，确定哪个节点是Leader，哪些节点是Follower和Observer。 Leader会和其他节点进行数据同步，采用发送快照和发送Diff日志的方式。 集群在工作过程中，所有的写请求都会交给Leader节点来进行处理，从节
Published on 2024-04-24
