蓝盟IT小贴士，来喽！
应用场景
异步构建：上下游没有强烈依赖关系的业务，或者不需要立即响应一次请求的业务
系统缓冲区：有助于解决服务系统的吞吐量不匹配问题，特别是对处理速度较慢的服务来说，充当缓冲区
高峰切断作用：对于短时间内偶然出现的极端流量，可以对后端服务启动保护作用；
数据流处理：统合spark进行实际的数据流处理。
Kafka拓扑图(多拷贝机制(多拷贝机制) ) () ) ) () ) ) ) ) ) ) ) ) ) ) ) )。
Kafka核心组件
中介程序
负责存储和传输消息的Kafka服务器； broker表示kafka节点。 broker可以包含多个主题
主题
信息类别、Kafka按照主题分类信息
分区
主题分区。 一个主题可以包含多个分区，主题消息存储在每个分区中； 由于一个topic可以划分为多个分区，因此为kafka提供了并行处理能力，这是kafka高吞吐量的原因之一。
partition物理上由多个segment文件组成，每个segment大小相等，按顺序读写(这也是kafka快的原因之一，无需随机写入)。 每个Segment数据文件都是该段中最小的offset，其文件扩展名为. log。 搜索offset的消息时，通过二分搜索尽快找到有消息的Segment中。
偏移
可以理解为消息在日志中的位置是消息在分区中的偏移，是表示消息的唯一序列号。
也是需要主从之间同步的信息。
生产程序
生产者，向Kafka Broker发送消息的客户端
消费者
消费者，负责消费Kafka Broker的新闻
消费者小组
消费群体，每个消费者必须属于一个组(请注意。 一个分区只由组内的一个消费者消费，消费群体之间互不影响。 ）
Zookeeper
管理kafka集群，存储集群broker、topic、partition等元数据存储，同时还负责broker故障发现、partition leader选举、负载均衡等功能。既然Kafka是分布式发布/订阅系统，那么如果服务治理与创建的集群之间的数据同步一致，Kafka不是不会丢失消息吗？ 如果宕机的时候举行Leader选举呢？
数据同步
Kafka的分区有leader和多个follower。 只需向leader写入数据，producer就会将数据复制到其他复制副本。 所有的follower都可以理解为消费者，可以定期去leader获取信息。 数据同步后，kafka将向生产者返回ACK，告知消息已保存落地。
国际空间站
在Kafka中，为了保证性能，Kafka不以强一致的方式同步主从数据。 相反，我们维护了同步复制副本的列表。 Leader不需要等待所有的Follower完成同步，只要用ISR的Follower完成数据同步，就可以向生产者发送ack，可以认为完成了消息同步。 同时，如果发现ISR中的follower太落后了，就将其清除。
文/上海蓝盟 IT外包专家
中文
电话咨询
微信咨询
公众号
