RocketMQ如何保证消息不丢失？

RocketMQ如何保证消息不丢失？

一、消息从产生到消费过程 一个消息从生产者产生，到被消费者消费，主要经过这 3 个过程： 生产者产生消息 消息发送到存储端，保存下来 消息推送到消费者，消费者消费完，ack应答 因此如何保证MQ不丢失消息，可以从这三个阶段阐述： 生产者保证不丢消息
作者：zhanxuewei
分类： Java
RocketMQ4.7.1集群搭建

RocketMQ4.7.1集群搭建

一、部署前的说明 本文根据官网资料搭建，官方网站部署文档地址：https://rocketmq.apache.org/zh/docs/4.x/deployment/01deploy 本文采用3台服务器，多节点（集群）多副
作者：zhanxuewei
分类： Java
如何确保Kafka集群的高可用？

如何确保Kafka集群的高可用？

Kafka设计了多种机制，共同保证集群的高可用性： 分布式架构：Kafka集群通常由多个Broker组成，每个Broker存储部分数据副本。这样，即使某个Broker出现故障，其他Broker也可以继续处理和存储消息，从而保证整体的高可用性。
作者：zhanxuewei
分类： Java
Kafka中的消费者偏移量是如何管理的？

Kafka中的消费者偏移量是如何管理的？

在Kafka中，消费者偏移量是指消费者在处理消息过程中所处的位置。Kafka中的消费者偏移量由两部分组成：Topic和Partition。对于每个消费者组，Kafka都会为其维护在每个 Partition 上的偏移量，以便在处理消息时可以准确地跟踪进度。 消费者偏移量的管理可以通过以下方式进行： 手
作者：zhanxuewei
分类： Java
Kafka常见问题

Kafka常见问题

Kafka入门 什么是消息队列与Kafka简介 消息队列（Message Queue，简称MQ），指保存消息的一个容器，本质是个队列。 消息（Message）是指在应用之间传送的数据，消息可以非常简单，比如只包含文本字符串，也可以更复杂，可能包含嵌入对象。 消息队列（Message Queue）是一
作者：zhanxuewei
分类： Java
Kafka中的消息是如何存储的？

Kafka中的消息是如何存储的？

Kafka 中的消息是以文件的方式持久化到磁盘中进行存储的，这是 Kafka 的一个关键特性，确保消息的可靠性和可用性。Kafka中的消息是通过以下方式进行存储的： Partition 分区：Partition是Kafka中消息存储的基本单位，每个Topic下的消息都会被划分成多个Partition
作者：zhanxuewei
分类： Java
Kafka中的消息如何分配给不同的消费者？

Kafka中的消息如何分配给不同的消费者？

Kafka中的消息是通过分区（Partition）分配给不同的消费者的。Kafka将每个Topic划分为多个Partition，每个Partition存储一部分消息。消费者通过订阅Topic来消费消息，而Kafka将Partition中的消息按照一定的分配策略分配给消费者组中的不同消费者。 Kafk
作者：zhanxuewei
分类： Java
什么是“零拷贝”？有什么作用？

什么是“零拷贝”？有什么作用？

零拷贝是操作系统提供的一种优化 IO 操作的重要机制。通过零拷贝技术，操作系统可以极大的减少在一次 IO 操作中，数据从一个内存区域复制到另一个内存区域的次数，以及在此过程中对 CPU 的性能消耗。零拷贝技术可以极大的提高数据传输的效率，避免不必要的数据拷贝，从而降低系统负载。 零拷贝有两种实现方式
作者：zhanxuewei
分类： Java
Kafka的消费消息是如何传递的？

Kafka的消费消息是如何传递的？

在Kafka中，消息的传递主要涉及三个环节：生产者生产消息、broker保存消息和消费者消费消息。 生产者生产消息：生产者负责将消息发布到Kafka broker。在发布消息时，生产者需要指定目标主题。消息被写入后，将被存储在指定分区的当前副本中。当发送消息失败时，生产者还会提供确认以及重试机制，以
作者：zhanxuewei
分类： Java
Kafka如何保证消息可靠？

Kafka如何保证消息可靠？

为了保证消息在传递过程当中，消息不会丢失或者被重复传递，Kafka 设计了非常多的重要机制来保证消息的可靠性。例如 数据冗余：Kafka通过将消息副本（replica）的方式来实现数据冗余，每个topic都可以配置副本数量，副本数量越多，数据可靠性越高，但会占用更多的存储空间和网络带宽。在 Kafk
作者：zhanxuewei
分类： Java
共 43 篇文章
页