一、消息从产生到消费过程 一个消息从生产者产生，到被消费者消费，主要经过这 3 个过程： 生产者产生消息 消息发送到存储端，保存下来 消息推送到消费者，消费者消费完，ack应答 因此如何保证MQ不丢失消息，可以从这三个阶段阐述： 生产者保证不丢消息
Published on 2024-06-22
一、部署前的说明 本文根据官网资料搭建，官方网站部署文档地址：https://rocketmq.apache.org/zh/docs/4.x/deployment/01deploy 本文采用3台服务器，多节点（集群）多副
Published on 2024-06-05
Kafka设计了多种机制，共同保证集群的高可用性： 分布式架构：Kafka集群通常由多个Broker组成，每个Broker存储部分数据副本。这样，即使某个Broker出现故障，其他Broker也可以继续处理和存储消息，从而保证整体的高可用性。
Published on 2024-04-24
在Kafka中，消费者偏移量是指消费者在处理消息过程中所处的位置。Kafka中的消费者偏移量由两部分组成：Topic和Partition。对于每个消费者组，Kafka都会为其维护在每个 Partition 上的偏移量，以便在处理消息时可以准确地跟踪进度。 消费者偏移量的管理可以通过以下方式进行： 手
Published on 2024-04-24
Kafka 中的消息是以文件的方式持久化到磁盘中进行存储的，这是 Kafka 的一个关键特性，确保消息的可靠性和可用性。Kafka中的消息是通过以下方式进行存储的： Partition 分区：Partition是Kafka中消息存储的基本单位，每个Topic下的消息都会被划分成多个Partition
Published on 2024-04-24
Kafka中的消息是通过分区（Partition）分配给不同的消费者的。Kafka将每个Topic划分为多个Partition，每个Partition存储一部分消息。消费者通过订阅Topic来消费消息，而Kafka将Partition中的消息按照一定的分配策略分配给消费者组中的不同消费者。 Kafk
Published on 2024-04-24
零拷贝是操作系统提供的一种优化 IO 操作的重要机制。通过零拷贝技术，操作系统可以极大的减少在一次 IO 操作中，数据从一个内存区域复制到另一个内存区域的次数，以及在此过程中对 CPU 的性能消耗。零拷贝技术可以极大的提高数据传输的效率，避免不必要的数据拷贝，从而降低系统负载。 零拷贝有两种实现方式
Published on 2024-04-24
在Kafka中，消息的传递主要涉及三个环节：生产者生产消息、broker保存消息和消费者消费消息。 生产者生产消息：生产者负责将消息发布到Kafka broker。在发布消息时，生产者需要指定目标主题。消息被写入后，将被存储在指定分区的当前副本中。当发送消息失败时，生产者还会提供确认以及重试机制，以
Published on 2024-04-24
为了保证消息在传递过程当中，消息不会丢失或者被重复传递，Kafka 设计了非常多的重要机制来保证消息的可靠性。例如 数据冗余：Kafka通过将消息副本（replica）的方式来实现数据冗余，每个topic都可以配置副本数量，副本数量越多，数据可靠性越高，但会占用更多的存储空间和网络带宽。在 Kafk
Published on 2024-04-24
