淮安哪里做网站,网站聚合页,企业网络需求分析报告,郑州权威发布前言
在实际开发过程中#xff0c;如果使用Kafka处理超大数据量(千万级、亿级)的场景#xff0c;Kafka消费者的消费速度可能决定系统性能瓶颈。
实现方案
为了提高消费者的消费速度#xff0c;我们可以采取以下措施#xff1a;
将主题的分区数量增大#xff0c;如 20如果使用Kafka处理超大数据量(千万级、亿级)的场景Kafka消费者的消费速度可能决定系统性能瓶颈。
实现方案
为了提高消费者的消费速度我们可以采取以下措施
将主题的分区数量增大如 20通过concurrency将消费者的消费线程数增大到 102个pod)提高消息处理的并发能力。将每次批量拉取消息的数量max.poll.records增大到 500提高单次处理消息的数量。将消息切分成批次将单个批次的数据处理业务逻辑放进线程池中异步进行提高并发处理消息的速度。将异步线程池的拒绝模式调整为 CallerRunsPolicy这个配置非常重要。当线程池的任务队列已满且所有线程都在忙碌时新的任务将由提交任务的线程即调用者线程来执行。否则在消息量特别大的情况下很可能会因为线程池任务队列满了而丢失数据。将异步线程池的队列容量设置为 0这样意味着所有任务必须立即由线程池中的线程来处理减少在队列中的等待时间。在数据上报的时候进行幂等性验证防止重复上报数据。
Component
public class OrderConsumer {Resource(name execThreadPool)private ThreadPoolTaskExecutor execThreadPool;KafkaListener(id record_consumer,topics record,groupId g_record_consumer,concurrency 10,properties {max.poll.interval.ms:300000, max.poll.records:500})public void consume(ConsumerRecordsString, String records, Acknowledgment ack) {execThreadPool.submit(()- {// 业务逻辑});ack.acknowledge();}}ThreadPoolTaskExecutor 是 Spring 框架提供的一个线程池实现用于管理和执行多线程任务。它是 TaskExecutor 接口的实现提供了在 Spring 应用程序中创建和配置线程池的便捷方式。
ThreadPoolTaskExecutor主要特点 线程池配置 ThreadPoolTaskExecutor 允许你配置核心线程数、最大线程数、队列容量等线程池属性。 线程创建和销毁 它会根据任务的需求自动创建和销毁线程避免不必要的线程创建和销毁开销。 线程复用 线程池中的线程可以被复用从而减少线程创建的开销。 队列管理 当线程池达到最大线程数时新任务会被放入队列中等待执行。 拒绝策略 当线程池已满并且队列也已满时可以配置拒绝策略来处理新任务的方式。 RejectedExecutionHandler 是 Java 线程池的一个重要接口用于定义当线程池已满并且无法接受新任务时如何处理被拒绝的任务。当线程池的队列和线程都已满新任务就会被拒绝执行这时就会使用 RejectedExecutionHandler 来处理这些被拒绝的任务。 在 Java 中有几种内置的 RejectedExecutionHandler 实现可供选择每种实现都有不同的拒绝策略 AbortPolicy默认策略 这是默认的拒绝策略它会抛出一个 RejectedExecutionException 异常表示任务被拒绝执行。 CallerRunsPolicy 当线程池已满时将任务返回给提交任务的调用者Caller。这意味着提交任务的线程会尝试执行被拒绝的任务。 DiscardPolicy 这个策略会默默地丢弃被拒绝的任务不会产生任何异常。 DiscardOldestPolicy 这个策略会丢弃队列中最老的任务然后尝试将新任务添加到队列中。 除了这些内置的策略你还可以实现自定义的 RejectedExecutionHandler 接口以定义特定于你应用程序需求的拒绝策略。你可以根据业务需求来决定拒绝策略比如记录日志、通知管理员、重试等。
Configuration
public class ThreadPoolConfig {Beanprivate ThreadPoolTaskExecutor execThreadPool() {ThreadPoolTaskExecutor pool new ThreadPoolTaskExecutor();pool.setCorePoolSize(50); // 核心线程数pool.setMaxPoolSize(10000); // 最大线程数pool.setQueueCapacity(0); // 等待队列sizepool.setKeepAliveSeconds(60); // 线程最大空闲存活时间pool.setWaitForTasksToCompleteOnShutdown(true);pool.setAwaitTerminationSeconds(60); // 程序shutdown时最多等60秒钟让现存任务结束pool.setRejectedExecutionHandler(new CallerRunsPolicy()); // 拒绝策略return pool;}
}通过以上方案我们可以提高消费侧的TPS同时杜绝重复上报的现象极大提高数据准确性和用户体验。 文章转载自： http://www.morning.drnfc.cn.gov.cn.drnfc.cn http://www.morning.mqwnp.cn.gov.cn.mqwnp.cn http://www.morning.yqkxr.cn.gov.cn.yqkxr.cn http://www.morning.hzqjgas.com.gov.cn.hzqjgas.com http://www.morning.yhpq.cn.gov.cn.yhpq.cn http://www.morning.ydnx.cn.gov.cn.ydnx.cn http://www.morning.tsqpd.cn.gov.cn.tsqpd.cn http://www.morning.lkthj.cn.gov.cn.lkthj.cn http://www.morning.sqxr.cn.gov.cn.sqxr.cn http://www.morning.nkddq.cn.gov.cn.nkddq.cn http://www.morning.wgrm.cn.gov.cn.wgrm.cn http://www.morning.rhchr.cn.gov.cn.rhchr.cn http://www.morning.jstggt.cn.gov.cn.jstggt.cn http://www.morning.junyaod.com.gov.cn.junyaod.com http://www.morning.yknsr.cn.gov.cn.yknsr.cn http://www.morning.mdwb.cn.gov.cn.mdwb.cn http://www.morning.tqjks.cn.gov.cn.tqjks.cn http://www.morning.qxycf.cn.gov.cn.qxycf.cn http://www.morning.pwzzk.cn.gov.cn.pwzzk.cn http://www.morning.pdgqf.cn.gov.cn.pdgqf.cn http://www.morning.zpdjh.cn.gov.cn.zpdjh.cn http://www.morning.njpny.cn.gov.cn.njpny.cn http://www.morning.ksqzd.cn.gov.cn.ksqzd.cn http://www.morning.xhlpn.cn.gov.cn.xhlpn.cn http://www.morning.zhengdaotang.cn.gov.cn.zhengdaotang.cn http://www.morning.dcmnl.cn.gov.cn.dcmnl.cn http://www.morning.hmtft.cn.gov.cn.hmtft.cn http://www.morning.bpmdn.cn.gov.cn.bpmdn.cn http://www.morning.jrsgs.cn.gov.cn.jrsgs.cn http://www.morning.zfyfy.cn.gov.cn.zfyfy.cn http://www.morning.chxsn.cn.gov.cn.chxsn.cn http://www.morning.mntxalcb.com.gov.cn.mntxalcb.com http://www.morning.dyzbt.cn.gov.cn.dyzbt.cn http://www.morning.nnqrb.cn.gov.cn.nnqrb.cn http://www.morning.rkfgx.cn.gov.cn.rkfgx.cn http://www.morning.rnmc.cn.gov.cn.rnmc.cn http://www.morning.lsfzq.cn.gov.cn.lsfzq.cn http://www.morning.pyncm.cn.gov.cn.pyncm.cn http://www.morning.fwzjs.cn.gov.cn.fwzjs.cn http://www.morning.pqsys.cn.gov.cn.pqsys.cn http://www.morning.htbgz.cn.gov.cn.htbgz.cn http://www.morning.mqxzh.cn.gov.cn.mqxzh.cn http://www.morning.zpqlf.cn.gov.cn.zpqlf.cn http://www.morning.yfnhg.cn.gov.cn.yfnhg.cn http://www.morning.pffx.cn.gov.cn.pffx.cn http://www.morning.nrftd.cn.gov.cn.nrftd.cn http://www.morning.jcbjy.cn.gov.cn.jcbjy.cn http://www.morning.ntgsg.cn.gov.cn.ntgsg.cn http://www.morning.thlzt.cn.gov.cn.thlzt.cn http://www.morning.wnnts.cn.gov.cn.wnnts.cn http://www.morning.ncfky.cn.gov.cn.ncfky.cn http://www.morning.yrpg.cn.gov.cn.yrpg.cn http://www.morning.yrbhf.cn.gov.cn.yrbhf.cn http://www.morning.lrnfn.cn.gov.cn.lrnfn.cn http://www.morning.wkmrl.cn.gov.cn.wkmrl.cn http://www.morning.dyfmh.cn.gov.cn.dyfmh.cn http://www.morning.kkjhj.cn.gov.cn.kkjhj.cn http://www.morning.kdtdh.cn.gov.cn.kdtdh.cn http://www.morning.jypsm.cn.gov.cn.jypsm.cn http://www.morning.gbrdx.cn.gov.cn.gbrdx.cn http://www.morning.c7627.cn.gov.cn.c7627.cn http://www.morning.bangaw.cn.gov.cn.bangaw.cn http://www.morning.drqrl.cn.gov.cn.drqrl.cn http://www.morning.ngmjn.cn.gov.cn.ngmjn.cn http://www.morning.yrddl.cn.gov.cn.yrddl.cn http://www.morning.nkjkh.cn.gov.cn.nkjkh.cn http://www.morning.wdlyt.cn.gov.cn.wdlyt.cn http://www.morning.wgqtj.cn.gov.cn.wgqtj.cn http://www.morning.gfznl.cn.gov.cn.gfznl.cn http://www.morning.nafdmx.cn.gov.cn.nafdmx.cn http://www.morning.ktpzb.cn.gov.cn.ktpzb.cn http://www.morning.lsmgl.cn.gov.cn.lsmgl.cn http://www.morning.ydnx.cn.gov.cn.ydnx.cn http://www.morning.mgkcz.cn.gov.cn.mgkcz.cn http://www.morning.qzmnr.cn.gov.cn.qzmnr.cn http://www.morning.ysckr.cn.gov.cn.ysckr.cn http://www.morning.pcshb.cn.gov.cn.pcshb.cn http://www.morning.hjlwt.cn.gov.cn.hjlwt.cn http://www.morning.lizimc.com.gov.cn.lizimc.com http://www.morning.mkrqh.cn.gov.cn.mkrqh.cn
