.net网站开发岗位,制作一个静态网页,做二手车那个网站会员性价比高,字节跳动员工数量并发#xff0c;数据同步往往是业务开发中比较重要的部分。 shenyu网关数据同步设计方案图
shenyu官网给出的同步设计方案图如下#xff1a; 基于事件异步并发框架com.lmax.disruptor
下载下示例代码#xff0c;跑起来发现#xff0c;在shenyuAdmin模块里面用到了com.lma… 并发数据同步往往是业务开发中比较重要的部分。 shenyu网关数据同步设计方案图
shenyu官网给出的同步设计方案图如下 基于事件异步并发框架com.lmax.disruptor
下载下示例代码跑起来发现在shenyuAdmin模块里面用到了com.lmax.disruptor
引用一段文章 LMAX是一种新型零售金融交易平台它能够以很低的延迟产生大量交易这个系统是建立在JVM平台上其核心是一个业务逻辑处理器它能够在一个线程里每秒处理6百万订单。业务逻辑处理器完全是运行在内存中使用事件源驱动方式。业务逻辑处理器的核心是Disruptor。Disruptor它是一个开源的并发框架并获得2011 Duke’s 程序框架创新奖能够在无锁的情况下实现网络的Queue并发操作。Disruptor是一个高性能的异步处理框架或者可以认为是最快的消息框架(轻量的JMS)也可以认为是一个观察者模式的实现或者事件监听模式的实现。 Disruptor是如何工作的 Disruptor 有一个基于数组的循环数据结构(环装缓冲区)。这个循环数据结构它是个拥有下个可用元素引用的数组。预先分配了对象内存空间。生产者与消费者通过这个循环数据结构进行读写操作并不会有锁或资源竞争。
在Disruptor 中所有事件(events)以组播的方式被发布给所有消费者以便下游队列通过并行的方式进行消费。因为消费者的并行消费需要协调消费者间的依赖关系(依赖关系图)。
生产者和消费者中有个序列计数器指示缓冲区中当前正在被它所处理的元素。所有生产者或消费者都只可以修改它自己的序列计数器但同时可以读取其他的序列计数器。 Disruptor 介绍
Disruptor 是苹国外厂本易公司LMAX开发的一个高件能列研发的初夷是解决内存队列的延识问顾在性能测试中发现竟然与10操作处于同样的数量级)基于Disruptor开发的系统单线程能支撑每秒600万订单2010年在QCn演讲后获得了业界关注201年企业应用软件专家Martin Fower专门撰写长文介绍。同年它还获得了Oradle官方的Duke大奖。目前包括Apache StomCame、 L0g4 2在内的很多知名项目都应用了Disrupior以获取高性能。注意这里所说的队列是系统内部的内存队列而不是Kaka这样的分布式队列。 Github: https://github.com/LMAX-Exchange/disruptor Disruptor实现了队列的功能并且是一个有界队列可以用于生产者-消费者模型。 JUC包下的队列 juc下的队列大部分采用Reentranlock锁方式保证线程安全。在稳定性要求特别高的系统中为了防止生产者速度过快导致内存溢出只能选择有界队列。加锁的方式通常会严重影响性能。线程会因为竞争不到锁而被挂起等待其他线程释放锁而唤醒这个过程存在很大的开销而且存在死锁的隐患。有界队列通常采用数组实现。但是采用数组实现又会引发另外一个问题false sharing(伪共享)。 CompletableFuture创建异步操作 CompletableFuture 提供了四个静态方法来创建一个异步操作:
public static CompletableFutureVoid runAsync(Runnable runnable)public static CompletableFutureVoid runAsync(Runnable runnable, Executor executor)public static U CompletableFutureU supplyAsync(SupplierU supplier)4 public static U CompletableFutureU supplyAsync(SupplierU supplier, Executor executor) 这四个方法区别在于 1runAsync 方法以Rumnable函数式接口类型为参数没有返结果upplyAsync 方法Suppler函数式接口类型为参数返回结果类型为U; Suppler 接的 get) 方法是有返回值的 (会阻塞) 2没有指定Executor的方法默认会使用ForkJoinPool.commonPool()作为它的线程池执行异步代码。如果指定线程池则使用指定的线程池运行。
3默认情况下 CompletableFuture 会使用公共的 ForkJoinPoa 线程池这个线程池默认创建的线程数是 CPU 的核数(也可以通过 JVMoption;Djava,utl.concurrent.ForkJoinPod.common.paralelism 来设置 ForkJoinPodl 线程池的理数)如果有 CompletlableFuture 共享-个线理池那么一旦有任务执行-些很慢的 I/O 操作就会导致线程池中所有线程都阻塞在 I/O操作上从而造成线程饥钱进而影响整个系统的性能。所以强烈建议你要根据不同的业务类型创建不同的线程池以避免互相干扰。
