做亚马逊学英语有什么网站吗,潮州建设网站,昆明网站设计方案,中国住建网查询证书1.Kafka的producer如何实现幂等性?
①开启幂等性#xff0c;将Idempotent设置为true
②将ack设置为-1#xff0c;确保相同的消息只会发送一次#xff0c;避免重新发送 2.Kafka的ISR和OSR的作⽤分别是什么?
ISR是副本和领导者的数据和状态要保持一致#xff0c;如果出现…1.Kafka的producer如何实现幂等性?
①开启幂等性将Idempotent设置为true
②将ack设置为-1确保相同的消息只会发送一次避免重新发送 2.Kafka的ISR和OSR的作⽤分别是什么?
ISR是副本和领导者的数据和状态要保持一致如果出现网络波动导致领导者宕机了ISR会选择一个副本成为新的领导者保证数据的高可用。
OSR是指副本和领导者的数据和状态可能因为网络波动导致没有保持一致OSR需要追上领导者的数据 3.Kafka⽣产者如何实现幂等性写⼊和事务?
幂等性
①开启幂等性将Idempotent设置为true
②将ack设置为-1确保相同的消息只会发送一次避免重新发送 事务Kafka开启事务必须要先开启幂等性
①生产者使用事务之前必须先自定义一个事务idkafka根据事务id分配事务协调器
②事务协调器会返回一个pid
③生产者开始发送数据到topic不过这些数据和之前的数据不同他们都带着一个字段表示自己是事务信息
④当生产者消息发送完毕会向事务协调器发送commit请求或者是abort请求
⑤事务协调器收到请求后会持久化transcation_state中transcation_state默认有50个分区每个分区负责一部分事务
⑥事务协调器后台会跟topic通信告诉他们事务是成功了还是失败了 4.Kafka消费者位置提交⽅式有哪些?分别什么场景下使⽤?
1.自动提交
消费者定期将偏移量提交到kafka提交的频率由消费者配置的参数控制适用于一些对数据一致性要求不高的场景但可能导致消息被重复处理或者是丢失
2.手动同步提交
消费者在消费完一批数据之后,调用commitSync方法来提交偏移量这种方式可以确保消息的一次性处理适用于对数据一致性要求较高的场景但可能会影响消费者的吞吐量
3.手动异步提交
消费者在消费完一批数据之后调用commitAsync方法异步提交偏移量异步提交不会阻塞消费者的处理线程从而提高吞吐量但是异步提交可能会导致消息的重复处理或者是丢失需要消费者设置适当的异常处理和重试机制。 5.Kafka消息丢失场景有哪些?如何避免?
①生产者发送消息失败
生产者发送消息时发生错误并且没有设置重试机制就有可能导致数据丢失这个时候我们可以设置合适的重试次数以及重试间隔
②消息在网络传输过程中丢失
生产者发送消息到kafka的过程中可能会遇到网络波动或者是配置不当导致数据丢失这时候我们可以设置重试机制和调整网络配置来提高稳定性
③消费者处理消息失败
消费者在消费数据时发生错误并且没有设置适当的错误处理和重试机制那么消息就有可能丢失需要我们设置重试机制来确保消息能够被正确处理并且不会丢失。 6.Kafka消费组重新平衡流程
①每个消费者启动之后都会自动加入所属的消费者组中并且向协调器发送心跳表示是运行状态
②当消费者启动之后首先向协调器发送加入组的请求如果消费者组中已经存在了这个消费者协调器就返回成功否则协调器会将其加到消费者队列中并通知其他消费者进行重平衡
③新的消费者加入之后协调器会按照订阅的主题计算出当前消费者负责消费的分区并将分配结果发送给消费者消费者在接收到分配结果之后可以根据分区信息消费对应的消息 7.Kafka消费者分区分配策略
Range范围分区
首先我们会对每个topic下的partition进行排序然后对消费者按照字母进行排序然后用分区数除以消费者数量。例子假如现在我们有十个分区三个消费者那么就是10除以3如果除不尽那么前面的消费者就会多消费一个分区。
弊端就是前面的消费者会比后面的消费者多处理几个分区的数据会出现负载均衡的现象
RoundRoBin轮询分区
将消费者和分区按照字典序进行排序然后通过轮询的方法将分区逐个分配给每个消费者但是也可能会出现负载不均衡的情况
StickyAssignor粘性分区
①分区的分配要尽可能的均匀消费者之间的分区数最多相差一个
②分区的分配尽可能要与上次分配的保持相同 8.ClickHouse中ReplicatedMergeTree是什么?有什么优点?
ReplicatedMergeTree是一种数据表引擎用于处理分布式环境下的数据复制和合并是MergeTree表引擎的一个扩展用于在分布式环境中实现数据的可靠复制和合并
优点
①ReplicatedMergeTree表支持数据的复制和分布式存储可以在多个节点上存储数据的副本并且可以跨多个节点分布数据以实现负载均衡
②ReplicatedMergeTree表可以合并来自不同节点的数据保证数据的一致性和完整性
③由于ReplicatedMergeTree支持数据复制因此具有良好的容错性和高可用性即使某个节点发生故障仍然可以从其他节点获取数据
缺点
性能消耗由于ReplicatedMergeTree需要进行数据复制和合并可能会导致额外的性能消耗在处理大规模数据的时候可能会成为性能瓶颈
一致性和延迟由于数据复制和合并需要一定的时间因此在分布式环境中可能存在一致性和延迟问题在某些情况下可能需要额外的措施来确保数据的一致性和实时性 9.ClickHouse的分布式查询流程是什么样的? 10.ClickHouse存储结构及优势
优势
列式存储
ClickHouse采用列式存储结构数据按列存储而不是将整行数据存储在一起这种存储方式有助于提高查询性能在数据规模大的情况下可以减少磁盘io和内存消耗。
数据分区
ClickHouse支持对数据进行分区可以根据时间范围或其他维度将数据划分为不同的分区这种分区存储结构有助于提高查询性能可以根据查询需求只加载特定分区的数据减少不必要的数据扫描。 11.ClickHouse各种索引的区别和使⽤场景
一级索引:
一级索引是表的主键索引主键索引是表中一列或多列的唯一标识用于快速定位每一行数据一级索引在ClickHouse中是必须的每张表必须有一个一级索引
稀疏索引:
索引标记对应的是一段数据 但是查询速度可能会受影响因为某些数据无法直接通过索引定位到从而需要进行更多的磁盘访问
稠密索引
索引标记对应到一行具体的数据记录查询速度快每行数据都能通过索引快速定位到但是会占用更多的存储空间
二级索引
二级索引是指除了主键索引之外的其他索引用于加速查询非主键列 12.ClickHouse查询性能优化
索引优化
使用适当的索引类型根据查询模式创建合适的索引
数据分区
利用ClickHouse的分区功能将数据按照时间范围或其他维度进行分区存储这样可以降低单个分区的数据量提高查询性能同时也便于数据的维护和管理
硬件优化
提供足够的硬件资源升级配置
数据压缩
使用合适的压缩算法来减少存储空间同时也能提高读取速度ClickHouse提供了多种压缩算法可以根据数据的特点选择合适的压缩方式 13.Flink窗口机制有哪些?应⽤场景分别是什么?
滑动窗口
滑动窗口在固定大小的窗口上定义了一个滑动步长窗口之间可以有重叠部分常用于连续的数据流分析
滚动窗口
滚动窗口将数据按照固定的大小进行划分窗口之间没有重叠常用于对实时数据进行周期性的统计分析如每分钟每小时。
会话窗口
当数据流中一段时间内没有数据到达时会话窗口结束会话窗口需要制定两个参数会话超时时间和间隔时间当某个数据到达时会话窗口会检查该数据与前一个数据的时间间隔如果超过了会话超时时间则结束前一个会话窗口并开始一个新的会话窗口
全局窗口
全局窗口将整个数据流视为一个窗口通常用于一次性对整个数据流进行统计分析
处理时间窗口
根据数据的处理时间来划分窗口即数据到达flink算子的时间适用于对实时数据进行快速分析不考虑事件时间顺序的场景
事件时间窗口
根据数据中的事件时间来划分窗口即数据中的时间戳用于处理具有时间顺序的数据流可以解决数据延迟乱序等问题
