网站优化的推广,wordpress自动接口,企业信息公示管理系统山东,商务网页设计与制作实训报告阿伟开始学Kafka 概述 人生若只如初见#xff0c;阿伟心里回想起了第一次和Kafka见面的场景#xff0c;记忆虽然已经有些模糊#xff0c;但是感觉初次见面是美好的。积累了一些实战经验之后#xff0c;阿伟感觉不能再是面对百度开发了#xff0c;于是决心系统的学习一下Ka…阿伟开始学Kafka 概述 人生若只如初见阿伟心里回想起了第一次和Kafka见面的场景记忆虽然已经有些模糊但是感觉初次见面是美好的。积累了一些实战经验之后阿伟感觉不能再是面对百度开发了于是决心系统的学习一下Kafka。本文将作为开篇开启Kafka系列学习心得总结文章。
一、基本概念 本节将汇总讲解一下Kafka的核心概念对于初学者来说学习一项技术先要做一些整体的了解于是阿伟对Kafka核心概念进行了梳理.
核心概念
1、Topic
Kafka根据topic对消息进行归类发布到Kafka集群的每条消息都需要指定一个topic
2、Parition
物理上的概念一个topic可以分为多个partition每个partition的内部时有序的
3、Broker
消息中间件处理节点一个Kafka节点就是一个broker一个或者多个Broker可以组成一个Kafka集群
4、ConsumerGroup
每个Consumer属于一个特定的ConsumerGroup一条消息可以被多个不同的ConsumerGroup消费到那时一个ConsumerGroup中只能有一个Consumer能够消费该消息
5、Consumer
消息消费者从Broker读取消息的客户端
6、Producer
消息生产者向Broker发送消息的客户端
消息类型
普通消息、顺序消息、延时消息
消费模式
集群消费、广播消费
二、市面上流行的消息中间件特性对比
如下将市面上流行的几款消息中间件Kafka、RocketMQ、RabbitMQ进行了多维度的对方分析 三、Kafka难题
1、为什么要对topic下数据进行分区存储?
1.commit log文件会受到所在机器的文件系统大小的限制分区之后可以将不同的分区放在不同的机器上相当于对数据做了分布式存储理论上一个topic可以处理任意数量的数据 2.提高并行度
2、如何在多个partition中保证顺序消费?
方案一:首先将需要保证顺序的消息收集起来然后交给一个consumer去进行处理然后内部维护一个线程池让其中某一个线程去顺序执行这些消息eg:用户下单流程支付成功消息 - 库存消息 方案二:让多个消息构造一个特殊结构的顺序消息,当consumer收到时在一个线程中依次进行消费
3、消息丢失
1、生产者
1.1、acks0,表示producer不需要等待任何broker确认收到消息的回复就可以发送下一条消息性能最高但是最容易丢消息大数据统计报表场景对性能要求很高对数据丢失不敏感的情况可以用这种
1.2、acks1,表示至少要等待leader已经成功将数据写入本地log,但是不需要等待所有follower是否成功写入就可以继续发送下一条消息这种情况下如果follower没有成功备份数据而此时leader又挂掉则消息会丢失
1.3、ack-1或者all,这意味着leader需要等待所有备份(min.insync.replicas配置的备份个数)都成功写入日志这种策略会保证只要由一个备份存活就不会丢失数据这是最强的数据保证一般除非是金融级别或跟钱打交道的场景才会使用这种配置当然如果min.insync.replicas配置的是1则也可能丢消息跟acks1情况类似
2、消费者
如果消费这边配置的是自动提交万一消费到数据还没处理完就自动提交offset了但是此时consumer直接宕机了未处理完的数据丢失了下次也消费不到了
4、消费重复
1、生产者
发送消息如果配置了重试机制比如网络抖动事件过长导致发送端发送超时实际broker可能已经接收到消息但发送方会重新发送消息
2、消费者
如果消费这边配置的是自动提交刚拉取了一批数据处理了一部分但还没来得及提交服务挂了下次重启又会拉取相同的一批数据重复处理一般消费端都是要做消息幂等处理的
5、消息乱序
1、如果发送端配置了重试机制Kafka不会等之前那条消息完全成功了才去发送下一条消息这样就可能出现发送了123条2消息第一条超时了后面两条发送成功再重试发送第一条消息这时消息在broker端的顺序就是231了所以是否一定要配置重试要根据业务情况而定。也可以用同步发送的模式取发消息当然acks不能设置为0这样也能保证消息从发送端到消费端全链路有序kafka保证全链路消息顺序消费需要从发送端开始将所有有序消息发送到同一个分区然后用一个消费者去消费但是这种性能比较低可以在消费者端接收到消息后将需要保证顺序消费的几条消息发到内存队列(可以多搞几个)一个内存队列开启一个线程顺序消费处理。
2、一个parition同一时刻在一个consumer group中只能有一个consumer实例在消费 ,从而保证消费顺序。consumer group中的consumer数量不能比一个topic中的partion数量还要多否则多出来的consumer消费不到消息。Kafka只在parition的范围内保证消息消费的局部顺序性不能在同一个topic中的多个partition中保证总的消费性如果有在总体上保证消费顺序的需求那么我们可以通过将topic的partition数量设置为1将consumer group中的consumer instance数量也设置为1但是这样会影响性能所以kafka的顺序消费很少用。
6、消息积压
1.线上有时因为发送方发送消息速度过快或者消费放处理消息过慢可能会导致broker挤压大量未消费消息此种情况如果挤压了上百万未消费消息需要紧急处理可以修改消费端程序让其将收到地消息快速转发到其他topic(可以设置很多分区),然后再启动多个消费者同时消费新主题地不同分区。
2.由于消息数据格式变动或者消费者程序有bug导致消费者一直消费不成功也可能导致broker积压大量未消费消息.此种情况可以将这些消费不成功地消息转发到其他队列里去(类似死信队列),后面再慢慢分析死信队列里地消息处理问题。
总结 本文阿伟结合自己的理解从几个方面梳理了Kafka其中讲到了基本概念市面上消息中间件的对比以及Kafka在实际应用中会遇到一些问题点和处理思路。
文章转载自： http://www.morning.rnyhx.cn.gov.cn.rnyhx.cn http://www.morning.rxkl.cn.gov.cn.rxkl.cn http://www.morning.whpsl.cn.gov.cn.whpsl.cn http://www.morning.dzrcj.cn.gov.cn.dzrcj.cn http://www.morning.qbjrl.cn.gov.cn.qbjrl.cn http://www.morning.gxcym.cn.gov.cn.gxcym.cn http://www.morning.lynmt.cn.gov.cn.lynmt.cn http://www.morning.jxpwr.cn.gov.cn.jxpwr.cn http://www.morning.nzkkh.cn.gov.cn.nzkkh.cn http://www.morning.zrwlz.cn.gov.cn.zrwlz.cn http://www.morning.gpnwq.cn.gov.cn.gpnwq.cn http://www.morning.rmrcc.cn.gov.cn.rmrcc.cn http://www.morning.plfy.cn.gov.cn.plfy.cn http://www.morning.nnttr.cn.gov.cn.nnttr.cn http://www.morning.npqps.cn.gov.cn.npqps.cn http://www.morning.smyxl.cn.gov.cn.smyxl.cn http://www.morning.mytmx.cn.gov.cn.mytmx.cn http://www.morning.tsdjj.cn.gov.cn.tsdjj.cn http://www.morning.wpqwk.cn.gov.cn.wpqwk.cn http://www.morning.rxwnc.cn.gov.cn.rxwnc.cn http://www.morning.xdttq.cn.gov.cn.xdttq.cn http://www.morning.srkzd.cn.gov.cn.srkzd.cn http://www.morning.gypcr.cn.gov.cn.gypcr.cn http://www.morning.wgxtz.cn.gov.cn.wgxtz.cn http://www.morning.yrnyz.cn.gov.cn.yrnyz.cn http://www.morning.mwqbp.cn.gov.cn.mwqbp.cn http://www.morning.nnhrp.cn.gov.cn.nnhrp.cn http://www.morning.nrbqf.cn.gov.cn.nrbqf.cn http://www.morning.sxtdh.com.gov.cn.sxtdh.com http://www.morning.xqxlb.cn.gov.cn.xqxlb.cn http://www.morning.gwwtm.cn.gov.cn.gwwtm.cn http://www.morning.ckhyj.cn.gov.cn.ckhyj.cn http://www.morning.zdnrb.cn.gov.cn.zdnrb.cn http://www.morning.gtqws.cn.gov.cn.gtqws.cn http://www.morning.gsdbg.cn.gov.cn.gsdbg.cn http://www.morning.ftdlg.cn.gov.cn.ftdlg.cn http://www.morning.fdrwk.cn.gov.cn.fdrwk.cn http://www.morning.ymwcs.cn.gov.cn.ymwcs.cn http://www.morning.nqrdx.cn.gov.cn.nqrdx.cn http://www.morning.qynpw.cn.gov.cn.qynpw.cn http://www.morning.yrbhf.cn.gov.cn.yrbhf.cn http://www.morning.dhnqt.cn.gov.cn.dhnqt.cn http://www.morning.rdgb.cn.gov.cn.rdgb.cn http://www.morning.hgsylxs.com.gov.cn.hgsylxs.com http://www.morning.jbblf.cn.gov.cn.jbblf.cn http://www.morning.nbybb.cn.gov.cn.nbybb.cn http://www.morning.wqpm.cn.gov.cn.wqpm.cn http://www.morning.bgnkl.cn.gov.cn.bgnkl.cn http://www.morning.zymgs.cn.gov.cn.zymgs.cn http://www.morning.jgrjj.cn.gov.cn.jgrjj.cn http://www.morning.mzgq.cn.gov.cn.mzgq.cn http://www.morning.ptwqf.cn.gov.cn.ptwqf.cn http://www.morning.xmyrn.cn.gov.cn.xmyrn.cn http://www.morning.sxtdh.com.gov.cn.sxtdh.com http://www.morning.pwksz.cn.gov.cn.pwksz.cn http://www.morning.wqkfm.cn.gov.cn.wqkfm.cn http://www.morning.qyjqj.cn.gov.cn.qyjqj.cn http://www.morning.ctlbf.cn.gov.cn.ctlbf.cn http://www.morning.qqnh.cn.gov.cn.qqnh.cn http://www.morning.tqsgt.cn.gov.cn.tqsgt.cn http://www.morning.rdkqt.cn.gov.cn.rdkqt.cn http://www.morning.fdsbs.cn.gov.cn.fdsbs.cn http://www.morning.lkbkd.cn.gov.cn.lkbkd.cn http://www.morning.bfkrf.cn.gov.cn.bfkrf.cn http://www.morning.fbccx.cn.gov.cn.fbccx.cn http://www.morning.fdrwk.cn.gov.cn.fdrwk.cn http://www.morning.qhkx.cn.gov.cn.qhkx.cn http://www.morning.zcckq.cn.gov.cn.zcckq.cn http://www.morning.yckwt.cn.gov.cn.yckwt.cn http://www.morning.zhmgcreativeeducation.cn.gov.cn.zhmgcreativeeducation.cn http://www.morning.cmcjp.cn.gov.cn.cmcjp.cn http://www.morning.tgydf.cn.gov.cn.tgydf.cn http://www.morning.bnpcq.cn.gov.cn.bnpcq.cn http://www.morning.nchsz.cn.gov.cn.nchsz.cn http://www.morning.rqnzh.cn.gov.cn.rqnzh.cn http://www.morning.tzkrh.cn.gov.cn.tzkrh.cn http://www.morning.yxlhz.cn.gov.cn.yxlhz.cn http://www.morning.qscsy.cn.gov.cn.qscsy.cn http://www.morning.yubkwd.cn.gov.cn.yubkwd.cn http://www.morning.rwpjq.cn.gov.cn.rwpjq.cn
