Kafka 介绍

什么是Kafka?

Apache Kafka是一个分布式发布 - 订阅消息系统和一个强大的队列,可以处理大量的数据,并使您能够将消息从一个端点传递到另一个端点。 Kafka适合离线和在线消息消费。 Kafka消息保留在磁盘上,并在群集内复制以防止数据丢失。 Kafka构建在ZooKeeper同步服务之上。 它与Apache Storm和Spark非常好地集成,用于实时流式数据分析。

Kafka 官网

https://kafka.apache.org/

优点

可靠性 - Kafka是分布式,分区,复制和容错的。

可扩展性 - Kafka消息传递系统轻松缩放,无需停机。

耐用性 - Kafka使用分布式提交日志,这意味着消息会尽可能快地保留在磁盘上,因此它是持久的。

性能 - Kafka对于发布和订阅消息都具有高吞吐量。 即使存储了许多TB的消息,它也保持稳定的性能。

Kafka非常快,并保证零停机和零数据丢失。

kafka适用场景

信息系统 Messaging 。 在这个领域中,kafka常常被拿来与传统的消息中间件进行对比,如RabbitMQ。

网站活动追踪 Website Activity Tracking

监控 Metrics

日志收集 Log Aggregation

流处理 Stream Processing

事件溯源 Event Sourcing

提交日志 Commit Log


Kafka 是一个统一的平台,用于处理所有实时数据 Feed。 Kafka 支持低延迟消息传递,并在出现机器故障时提供对容错的保证。 它具有处理大量不同消费者的能力。

Kafka 非常快,执行2百万写/秒。

Kafka 将所有数据保存到磁盘,这实质上意味着所有写入都会进入操作系统(RAM)的页面缓存。 这使得将数据从页面缓存传输到网络套接字非常有效。