青云博客 记录、分享

什么是“零拷贝”?有什么作用?

零拷贝是操作系统提供的一种优化 IO 操作的重要机制。通过零拷贝技术,操作系统可以极大的减少在一次 IO 操作中,数据从一个内存区域复制到另一个内存区域的次数,以及在此过程中对 CPU 的性能消耗。零拷贝技术可以极大的提高数据传输的效率,避免不必要的数据拷贝,从而降低系统负载。 零拷贝有两种实现方式

zhanxuewei zhanxuewei 发布于 2024-04-24

Kafka的消费消息是如何传递的?

在Kafka中,消息的传递主要涉及三个环节:生产者生产消息、broker保存消息和消费者消费消息。 生产者生产消息:生产者负责将消息发布到Kafka broker。在发布消息时,生产者需要指定目标主题。消息被写入后,将被存储在指定分区的当前副本中。当发送消息失败时,生产者还会提供确认以及重试机制,以

zhanxuewei zhanxuewei 发布于 2024-04-24

Kafka如何保证消息可靠?

为了保证消息在传递过程当中,消息不会丢失或者被重复传递,Kafka 设计了非常多的重要机制来保证消息的可靠性。例如 数据冗余:Kafka通过将消息副本(replica)的方式来实现数据冗余,每个topic都可以配置副本数量,副本数量越多,数据可靠性越高,但会占用更多的存储空间和网络带宽。在 Kafk

zhanxuewei zhanxuewei 发布于 2024-04-24

Kafka与RabbitMQ相比有什么优势?

Kafka 和 RabbitMQ 都是流行的消息中间件系统,他们各自都有一些优势和适用场景。以下是 Kafka 相对于 RabbitMQ 的一些比较明显的优势: 分布式架构: Kafka 是为大规模分布式流处理而设计的,具有高度可伸缩性。RabbitMQ 虽然也支持分布式架构,但相对而言,Kafka

zhanxuewei zhanxuewei 发布于 2024-04-24

Kafka中的Topic和Partition有什么关系?

在Kafka中,Topic和Partition是两个密切相关的概念。 Topic是Kafka中消息的逻辑分类,可以看作是一个消息的存储类别。它是按照不同的主题对消息进行分类,并且可以用于区分和筛选数据。每个Topic可以有多个Partition,每个Partition都是Topic的一个子集,包含了

zhanxuewei zhanxuewei 发布于 2024-04-24

什么是Kafka?有什么主要用途?

Kafka 是一个分布式流处理平台,最初由LinkedIn开发并开源,后来成为Apache软件基金会的一个顶级项目。它被设计用于高吞吐量、持久性、分布式的数据流处理。 Kafka 实现了一套非常高效的订阅-发布模型,应用场景非常广泛。比如 日志聚合:Kafka 通常用于收集和聚合分布式系统中产生的日

zhanxuewei zhanxuewei 发布于 2024-04-24

zk集群数据是如何同步的

Zookeeper集群的数据同步过程如下: 集群启动时,会先进行领导者选举,确定哪个节点是Leader,哪些节点是Follower和Observer。 Leader会和其他节点进行数据同步,采用发送快照和发送Diff日志的方式。 集群在工作过程中,所有的写请求都会交给Leader节点来进行处理,从节

zhanxuewei zhanxuewei 发布于 2024-04-24

zk 节点宕机如何处理

Zookeeper 必须集群部署,推荐配置不少于 3 个节点。Zookeeper 自身也要保证当一个节点宕机时,其他节点会继续提供服务。 如果是一个 Follower 宕机,还有 2 台服务器提供访问,因为 Zookeeper 上的数据是有多个副本的,数据并不会丢失。 如果是一个 Leader 宕机

zhanxuewei zhanxuewei 发布于 2024-04-24

Zookeeper 是如何保证事务的顺序一致性的

Zookeeper保证事务的顺序一致性是通过两个机制实现的:事务的严格串行化和锁定机制。 事务的严格串行化:在Zookeeper中,所有的写操作都必须经过一个称为“提交”(commit)的阶段。在一个事务还没有被提交之前,任何客户端都无法读取该事务。 这种机制确保了所有事务按照严格的顺序执行,保证了

zhanxuewei zhanxuewei 发布于 2024-04-24

Zookeeper 的通知机制是什么

Zookeeper的机制可以感知某些事件的发生,并将这些事件通知给客户端。这种通知机制是异步的,也就是说,当事件发生时,Zookeeper会选择一种方式将事件通知给客户端,而不需要等待客户端的回应。 具体来说,Zookeeper允许客户端向服务端的某个Znode注册一个Watcher监听,当这个Zn

zhanxuewei zhanxuewei 发布于 2024-04-24
上一页 下一页