厦门专业网站建设建站,渠道推广策略,重庆做网站及优化报价,网站建设论文中期总结作者简介 前言
博主之前写过一个完整的MQ系列#xff0c;包含RabbitMQ、RocketMQ、Kafka#xff0c;从安装使用到底层机制、原理。专栏地址#xff1a;
https://blog.csdn.net/joker_zjn/category_12142400.html?spm1001.2014.3001.5482
本文是该系列的清单综述#xf…作者简介 前言
博主之前写过一个完整的MQ系列包含RabbitMQ、RocketMQ、Kafka从安装使用到底层机制、原理。专栏地址
https://blog.csdn.net/joker_zjn/category_12142400.html?spm1001.2014.3001.5482
本文是该系列的清单综述会拉通来聊一下三大MQ的特点和各种适合的场景。
目录
1.概述
1.1.MQ简介
1.2.MQ的应用场景
1.3.关注MQ的角度
2.RabbitMQ
3.RocketMQ
4.Kafka
5.三大MQ的对比 1.概述
1.1.MQ简介
消息中间件其实准确的叫法应该叫消息队列message queue简称MQ。其本质上是个队列有FIFO的性质即first in first out先入先出。
目前市场上主流的MQ有三款
RabbitMQRocketMQKafka
1.2.MQ的应用场景
MQ一般用在几种场景
流量削锋应用解耦异步任务
1.流量削锋
流量过大的时候用MQ作为一个中间层暂时存储流量让流量在队列中排队去访问服务从而控制直接访问服务的流量减轻服务的实时流量压力。
以网购下订单为例 2.应用解耦
使用MQ作为应用之间的中间层从而使得应用直接不存在直接调用的关系解除应用之间的耦合。这样在被调用的应用挂掉以后应用之间的调用不会直接产生异常请求仍可以正常发送待被调用应用重新起来以后再去消费处理MQ中挤压的调用请求为系统的修复争取到了时间。
以支付系统为例 3.异步任务
有些服务调用对于响应的实时性要求不高允许延迟响应、异步处理。使用MQ可以将这些可以异步处理的请求暂存在队列中调用方不必等待直接向下执行其他任务被调用方消费MQ中消息后自行返回给调用方响应。 1.3.关注MQ的角度
虽然市面上的MQ数量众多、种类繁杂但MQ其本质上就是用来暂时存放消息的一种中间件其实从三个角度去关注MQ即可抓住MQ的核心
消息可靠性消息模型吞吐量
1.消息可靠性
消息可靠性即消息会不会丢失围绕防止消息丢失做了哪些工作
2.消息模型
消息模型即支持以什么样的模式去消费消息点对点广播发布订阅其消息模型丰富度如何
3.吞吐量
MQ作为用来减轻系统压力的中间件其自身势必会经常面对很大的流量吞吐量如何自然是要考虑的。
本文在最后横向对比三大MQ的时候就会从以上三点出发。除了以上三点还有一点是值得额外关注的就是扩容是否方便即是否在架构上能很好的支持分布式架构。当然这不是核心点要扩容怎么都能扩只是看方便与否。
2.RabbitMQ RabbitMQ有几个特点
遵从AMQP协议丰富的消息模型极消息可靠性高但是吞吐量不高
1.遵从AMQP
博主在之前的中间件系列中详细介绍了AMQP
详解AMQP协议__BugMan的博客-CSDN博客
AMQP简单来说就是规定好了MQ的各个抽象组件RabbitMQ则是一款完全严格按照AMQP来实现的开源MQ使得很好被开源框架所集成比如Spring AMQP专门就是用来操作AMQP架构的中间件的因此RabbitMQ可以被Spring Boot很方便的集成。
2.丰富的消息模型
RabbitMQ也是三大MQ里提供的消息模型最丰富的一种MQ。
博主之前在博主在之前的中间件系列中详细介绍了RabbitMQ的六大消息模型
SpringBoot RabbitMq 六大模式_springboot整合rabbitmq六种模式__BugMan的博客-CSDN博客
3.消息可靠性高但是吞吐量不高
RabbitMQRabbitMQ 提供了多种机制来确保消息的可靠性包括持久化、消息确认、发布确认等。这些机制确保消息不会丢失并且能够在各种情况下处理消息传递失败。但是由于存在这些用于保证消息可靠性的机制RabbitMQ的吞吐量在三大中间件中是最低的。
博主在之前的中间件系列中详细介绍了RabbitMQ的消息防丢失
RabbitMq消息防丢失含springboot代码示例_rabbitmq springboot work模式数据丢失__BugMan的博客-CSDN博客
博主在之前的中间件系列中也详细介绍了RabbitMQ如何防止重复消费这种解法对所有MQ都是通用的此处只是以RabbitMQ为例
RabbitMQ重复消费_rabbitmq消息重复消费__BugMan的博客-CSDN博客
3.RocketMQ RocketMQ是一款开源的分布式消息中间件最初由阿里巴巴集团开发并开源。它旨在为分布式系统提供可靠、高性能、可扩展的消息通信能力。其已经是阿里内部最核心的消息中间件用来保证每年双十一期间系统的稳定。
Rocket安装使用
RocketMQ下载安装、集群搭建保姆级教程_rocketmq集群安装__BugMan的博客-CSDN博客
RocketMQ有以下几个特点
天生的分布式架构兼顾消息可靠性和高吞吐量消息模型够用
1.天生的分布式架构
RocketMQ 的设计采用了分布式架构可以将消息存储和处理分散到多个节点上。这样可以实现消息的并行处理提高系统的吞吐量和并发性能。整个RocketMQ集群的架构和微服务架构类似有一个存放节点信息的name server生产者和消费者都去找name server拿broker的信息再去定位到具体的某一个broker上进行消息的收发。 broker之间可以用主从的方式进行互相备份进行容错。 博主在之前的中间件系列中也详细介绍了RabbitMQ的架构
RocketMQ基础概念__BugMan的博客-CSDN博客
2.兼顾消息可靠性和高吞吐量
可靠性和吞吐量其实是互斥的两点为了保证可靠性消息就一定要落在磁盘存储防止断电丢失。落在磁盘存储后读这条消息的时候的磁盘IO就会拉低吞吐量。所以RocketMQ的核心其实就是数据落磁盘然后想尽一切办法来提高吞吐量。RocketMQ主采用了顺序读写、异步刷盘、零拷贝三大机制来拉升了吞吐量。
博主在之前的中间件系列中也详细介绍了RabbitMQ的可靠性以及顺序读写、异步刷盘、零拷贝等内容
RocketMQ概论__BugMan的博客-CSDN博客
3.消息模型够用
RocketMQ的消息模型没有RabbitMQ那么够用但是基本的点对点、广播、发布订阅、事务等都是有的面对绝大多数场景基本上是够用的。
博主在之前的中间件系列中也详细介绍了RabbitMQ的消息模型
详解RocketMQ使用_rocketmq 使用__BugMan的博客-CSDN博客
4.Kafka Kafka其实和RocketMQ很相似一款具有高吞吐量、高可靠性的分布式消息中间件。其采用分布式架构、顺序写、序列化、零拷贝等机制保证了高吞吐量数据自动落磁盘完成持久化来保证消息不会丢失。
Kafka的内容其实和RocketMQ差不多博主在之前的消息中间件系列中有详细讲过Kafka的上述内容
Kafka概论__BugMan的博客-CSDN博客
5.三大MQ的对比
重头戏来了在实际开发中要用到MQ时对MQ的选型是很重要的选型的基础是一定要了解MQ的特点和适用的场景。
Kafka: 优点 吞吐量Kafka的设计目标是实现高吞吐量的消息传递拥有很大的吞吐量适用于处理大量的实时数据流。 扩展性Kafka采用分布式架构允许构建具有高可用性和可伸缩性的消息系统。 可靠性Kafka将消息持久化到磁盘上可以长期保留数据并支持高效的消息回放。 缺点 复杂性Kafka的配置和管理相对较复杂需要一定的学习和运维成本。 实时性由于Kafka是批量处理数据的并且由于需要在分区之间进行数据的复制和同步所以相对于其它MQkafka会存在一定时延。 功能丰富度支持的消费模式比较单一
RabbitMQ: 优点 功能丰富度RabbitMQ支持灵活的路由机制和多种消息模式如点对点、发布-订阅和主题订阅等。 可靠性RabbitMQ通过消息确认机制和持久化可以保证消息的可靠传递。 兼容性RabbitMQ使用标准的AMQP协议支持跨语言和平台的互操作性。 缺点 吞吐量没有做拉升吞吐量的优化所以相比于其他消息队列系统RabbitMQ的吞吐量较低。 扩展性RabbitMQ的集群管理较为复杂需要很多额外的配置和管理。
RocketMQ: 优点 高吞吐量和低延迟RocketMQ是为处理大规模数据流设计的具有高吞吐量和低延迟的特点。RocketMQ的时延。 可靠性存在持久化机制、确认机制具有高可靠性。 扩展性RocketMQ支持水平扩展可以通过添加更多的节点来提高系统的性能和容量。 缺点 社区支持相对于Kafka和RabbitMQRocketMQ的社区支持相对较弱。 功能丰富度RocketMQ在功能上相对较为简化可能不适用于复杂的消息处理场景。
适用场景 RabbitMQ适用于对消息可靠性要求高或者灵活的消息路由和多种消息模式的场景如任务队列、发布-订阅和事件驱动架构。 Kafka虽然存在一些时延但是这个时延并不会很大总体上来说Kafka和rocket适用的场景是高度重叠的RocketMQ和Kafka都专注于高吞吐量和低延迟的场景因此它们都适用于需要处理大规模数据流和实时消息传递的应用。Kafka在大数据领域具有广泛的应用与Hadoop、Spark等工具有良好的集成。RocketMQ在互联网领域应用较为广泛适用于电商、物流等场景。
