医院网站建设与维护题库,凡客建站登陆,小型手机网站建设哪家好,企业查询系统官网天眼查网页版Kafka进阶
Kafka事务
kafka的事务机制是指kafka支持跨多个主题和分区的原子性写入#xff0c;即在一个事务中发送的所有消息要么全部成功#xff0c;要么全部失败。
kafka的事务机制涉及到以下几个方面#xff1a;
事务生产者#xff08;transactional producer#x…Kafka进阶
Kafka事务
kafka的事务机制是指kafka支持跨多个主题和分区的原子性写入即在一个事务中发送的所有消息要么全部成功要么全部失败。
kafka的事务机制涉及到以下几个方面
事务生产者transactional producer可以在一个事务中发送多个消息到不同的主题和分区也可以从其他主题消费消息并发送到新的主题实现流处理。事务生产者需要指定一个唯一的transactional.id用于标识不同的事务。事务消费者transactional consumer可以消费事务生产者发送的消息并且只有当事务提交后才能看到这些消息。事务消费者需要设置isolation.level为read_committed以过滤掉未提交或中止的事务消息。事务协调器transaction coordinator是运行在每个kafka broker上的一个模块负责管理和分配ProducerID维护每个transactional.id对应的事务状态以及处理事务的提交或中止。事务日志transaction log是kafka的一个内部主题用于存储每个transactional.id对应的事务元数据包括ProducerID、epoch、分区列表、状态等。¹²
kafka的事务机制大致流程如下
事务生产者调用initTransactions方法向集群请求一个ProducerID并找到对应的事务协调器。事务生产者调用beginTransaction方法向事务协调器发送开始事务的请求并递增epoch。事务生产者调用send方法向目标主题和分区发送消息并将这些分区注册到事务协调器。事务生产者调用commitTransaction或abortTransaction方法向事务协调器发送提交或中止事务的请求并将控制消息写入到已注册的分区中。事务协调器根据控制消息和事务状态决定是否将该事务标记为已提交或已中止并更新事务日志。事务消费者根据isolation.level设置只消费已提交的事务消息并忽略未提交或已中止的事务消息。
Kafka生产者幂等性
幂等性介绍
Kafka的幂等性是指生产者在发送消息时可以保证同一个消息不会被重复写入到同一个分区中即使发生了网络错误或者重试
幂等性原理
Kafka的幂等性是基于生产者的ID和序号来实现的每个生产者都有一个唯一的ID和一个递增的序号当生产者发送消息时会把这两个信息附加到消息中当分区收到消息时会根据这两个信息来判断是否是重复的消息。 Kafka的幂等性只能保证单个分区内的消息不重复不能保证跨分区或跨主题的消息不重复。如果要实现更强的事务保证需要使用Kafka的事务机制。
分区机制
分区的文件存储形式
Kafka分区中的文件是按照一定的规则进行存储的主要有以下几个特点
每个分区对应一个日志文件夹log file日志文件中存储的是生产者发送的消息。日志文件又被分成多个段文件segment file每个段文件都有固定的大小限制当达到限制时就会关闭当前段文件创建新的段文件。段文件由两部分组成一个是存储消息内容的“.log”文件另一个是存储消息位置信息的“.index”文件。“.index”文件是稀疏索引文件它记录了消息的偏移量offset和物理位置position之间的映射关系方便消费者快速定位消息。消息在日志文件中是顺序追加的消息在分区中也是有序的每个消息都有一个递增的偏移量偏移量在分区内是唯一的。Kafka会定期删除过期的或者超过大小限制的段文件以回收磁盘空间。删除策略可以根据时间或者大小来配置。
消费者如何消费分区
消费者消费数据时首先需要知道自己要消费的分区和偏移量分区是由消费者组Consumer Group内部的分区分配策略Partition Assignor来决定的不同的策略会有不同的分配逻辑偏移量是由消费者自己维护的每次消费完一批消息后消费者会把当前的偏移量提交到 Kafka 或者其他存储中下次消费时会从上次提交的偏移量开始继续消费当消费者知道了要消费的分区和偏移量后它会向分区的 Leader Broker 发送拉取请求请求从指定的偏移量开始拉取一批消息。Leader Broker 收到请求后会根据偏移量在“.index”文件中查找对应的物理位置Position然后从“.log”文件中读取一批消息返回给消费者。
这样消费者就可以在多个段文件中找到自己要消费的数据了。
生产者分区写入策略
按key分配策略默认
它会根据消息的键key来计算一个哈希值并根据哈希值对分区数取模得到目标分区的编号。如果消息没有键或者键为空它会随机选择一个可用的分区。
轮询策略
轮询的分区写入策略它会按照分区的顺序依次将消息发送到每个分区上不考虑消息的键或者值。这种策略可以实现消息的均匀分布。
自定义分区策略
自行实现Partitioner接口自定义分区策略。
指定分区与写入策略无关
手动指定写入哪个分区。
随机策略(较早版本)
随机写入某个分区。
消息乱序问题
轮询策略和随机策略造成kafka中的数据是乱序存储的按 key 分区一定程度上可以实现数据的有序存储——局部有序但是又可能会造成数据倾斜
Producer的ACKs参数
producer配置的acks参数了,acks参数表示当生产者生产消息的时候写入到副本的要求严格程度。它决定了生产者如何在性能和可靠性之间做取舍。
acks有3个值可选 0、1和-1或者all默认值为1值为字符串类型不是整数类型 0producer发送后即为成功无需分区partition的leader确认写入成功性能最高 1producer发送后需要接收到partition的leader发送确认收到的回复性能中等 -1或者allproducer发送后需要ISR中所有副本都成功写入成功才能收到成功响应性能最慢
分区的leader与follower机制
AR、ISR、OSR
在实际环境中leader有可能会出现一些故障所以Kafka一定会选举出新的leader。在讲解leader选举之前我们先要明确几个概念。Kafka中把follower可以按照不同状态分为三类——AR、ISR、OSR
AR(Assigned Replicas) 分区的所有副本ISR(In-Sync Replicas) 所有与leader副本保持一定程度同步的副本包括 leader 副本)OSR(Out-of-Sync Replias) 由于follower副本同步滞后过多的副本不包括 leader 副本
AR ISR OSR, 正常情况下所有的follower副本都应该与leader副本保持同步即AR ISROSR集合为空。
Leader选举 kafka启动时会在所有的broker中选择一个controllercontroller的选举由broker竞争决定。controller会负责创建topic、或者添加分区、修改副本数量之类的管理任务包括leader的选举。controller也是高可用的一旦某个broker崩溃其他的broker会重新注册为controller controller读取到当前分区的ISR只要有一个Replica还幸存就选择其中一个作为leader否则则任意选这个一个Replica作为leader
Kafka生产、消费数据工作流程
Kafka数据写入流程 Kafka数据消费流程 消息不丢失机制
broker数据不丢失
生产者通过分区的leader写入数据后所有在ISR中follower都会从leader中复制数据这样可以确保即使leader崩溃了其他的follower的数据仍然是可用的
生产者数据不丢失
通过ACK机制来确保数据已经成功写入。
消费者数据不丢失
在消费者消费数据的时候只要每个消费者记录好offset值即可就能保证数据不丢失。offset值记录在zk中。
