做百度手机网站快,网页微博,产品设计培训中心,网站开发实训周志目录 基本概念
单机版
环境准备
基本命令使用 集群版
消息模型
成员组成
1. Topic#xff08;主题#xff09;#xff1a;
2. Partition#xff08;分区#xff09;#xff1a;
3. Producer#xff08;生产者#xff09;#xff1a;
4. Consumer#xff08;…目录 基本概念
单机版
环境准备
基本命令使用 集群版
消息模型
成员组成
1. Topic主题
2. Partition分区
3. Producer生产者
4. Consumer消费者
5. Broker代理服务器
6. Zookeeper 成员关系 基本概念
Kafka 是一个分布式流处理平台主要用于实时处理和传输大规模数据流。
基本MQ功能:
异步削峰解耦
与RocketMq对比:
高吞吐量和低延迟流式处理生态环境更好
适合业务场景: 日志聚合 Kafka 作为一个分布式消息传递系统非常适合用于收集和存储系统和应用程序产生的大量日志数据。它提供了持久性存储和高吞吐量的写入是构建日志聚合系统的理想选择。 实时数据处理 Kafka 可以与流处理框架如 Apache Flink、Apache Storm、Spark Streaming集成用于实时处理和分析数据流。这使得 Kafka 在需要实时数据处理、计算和分析的场景中非常有用。 事件溯源 对于需要记录系统每个状态变化的场景例如金融交易、订单处理等Kafka 支持事件溯源帮助构建可追溯、可审计的系统。 消息队列 Kafka 作为分布式消息队列可用于解耦生产者和消费者之间的通信。这在微服务架构中尤为重要帮助构建松耦合的系统。 数据集成 Kafka 提供 Kafka Connect一个用于数据集成的工具用于连接 Kafka 与其他数据存储系统支持构建端到端的数据流管道。 大数据管道 Kafka 可以作为大数据管道的核心组件用于连接和传递大规模数据集以支持数据湖、数据仓库等大数据处理场景。 单机版
环境准备
1. 从官网下载kafka, 这里选择3.4.0版本,官网:Apache Kafka
2. 解压压缩包
tar -zxvf kafka_2.13-3.4.0.tgz
3. 启动自带的zookeeper, jps检查是否启动成功
nohup bin/zookeeper-server-start.sh config/zookeeper.properties
4. 修改kafka配置文件config/server.properties, 允许外网客户端连接 5. 启动kafka
nohup bin/kafka-server-start.sh config/server.properties 6. jps检查是否启动成功 基本命令使用
1. 创建topic
bin/kafka-topics.sh --create --topic test --bootstrap-server localhost:9092
2. 查看topic
bin/kafka-topics.sh --describe --topic test --bootstrap-server localhost:9092 3. 发送消息
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
4. 消费消息
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test
5. 从起点开始消费消息
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic test6. 从指定地方消费消息
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic test7. 分组消费消息
示例:创建三个消费者A,B,C, 其中A和B属于testGrroup消费者组, C属于testGrroup2消费者组
#开一个终端1, 配置消费者组testGrroup
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --consumer-property group.idtestGrroup --topic test#开一个终端2, 配置消费者组testGrroup
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --consumer-property group.idtestGrroup --topic test#开一个终端3, 配置消费者组testGrroup2
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --consumer-property group.idtestGrroup2 --topic test#结果: 终端1和2会竞争消息, 一条只会被其中一个实例消费; 终端3独享消费群组, 每条消息能消费 集群版 消息模型
成员组成
1. Topic主题
消息在 Kafka 中通过主题进行分类每个主题都是一个消息的类别。生产者将消息发布到一个或多个主题消费者订阅一个或多个主题。主题在 Kafka 集群中的分区上进行分布每个分区可以看作是一个有序的日志文件。
2. Partition分区
Topic只是一个逻辑概念而Partition就是实际存储消息的组件。每个Partiton就是一个queue队列结构。所有消息以FIFO先进先出的顺序保存在这些Partition分区中。每个主题可以划分为一个或多个分区分区是 Kafka 消息的基本存储单元。分区允许水平扩展和并行处理提高了整个系统的吞吐量。分区内的消息有序存储保证了分区内的顺序性。
3. Producer生产者
生产者负责将消息发布到指定的主题。生产者可以指定消息的键keyKafka 根据键将消息发送到特定的分区。生产者将消息发送到分区的 Leader 副本并可以等待确认或异步发送。
4. Consumer消费者
消费者订阅一个或多个主题从中获取消息。消费者可以以消费者组Consumer Group的形式进行组织每个组内的消费者共享订阅的主题的消息。每个分区只能由同一消费者组内的一个消费者进行消费确保了消息在消费时的顺序性。
5. Broker代理服务器
Broker 是 Kafka 集群中的节点负责存储和处理消息。每个分区在集群中有多个副本其中一个是 Leader 副本其余是 Follower 副本。Leader 负责处理读写请求Follower 复制 Leader 的数据。
6. Zookeeper
Kafka 使用 ZooKeeper 来进行集群管理和协调。ZooKeeper 管理 Kafka 集群的节点、分区的分配以及监视 Broker 的健康状态。 成员关系 Topic 和 Partition 一个 Topic 包含一个或多个 Partition。每个 Partition 中的消息是有序的可以保证 Partition 内的消息顺序性。Partition 的数量和分布影响了 Kafka 集群的并发处理能力和水平扩展性。 Partition 和 Broker Partition 在 Kafka 集群中分布在多个 Broker 上以实现水平扩展。每个 Partition 在任意时刻只有一个 Broker 的副本是 Leader其余的是 Follower。Leader 负责处理读写请求Follower 负责复制 Leader 的数据以实现高可用性和容错性。 Topic 和 Broker 一个 Topic 的多个 Partition 可以分布在多个 Broker 上。Topic 的所有 Partition 的所有副本的集合构成了整个 Kafka 集群的数据。 文章转载自： http://www.morning.lhrcr.cn.gov.cn.lhrcr.cn http://www.morning.sjgsh.cn.gov.cn.sjgsh.cn http://www.morning.wblpn.cn.gov.cn.wblpn.cn http://www.morning.xjmpg.cn.gov.cn.xjmpg.cn http://www.morning.wwxg.cn.gov.cn.wwxg.cn http://www.morning.hbhnh.cn.gov.cn.hbhnh.cn http://www.morning.qbtj.cn.gov.cn.qbtj.cn http://www.morning.sqmlw.cn.gov.cn.sqmlw.cn http://www.morning.hwlmy.cn.gov.cn.hwlmy.cn http://www.morning.nqrfd.cn.gov.cn.nqrfd.cn http://www.morning.ghxzd.cn.gov.cn.ghxzd.cn http://www.morning.pwbps.cn.gov.cn.pwbps.cn http://www.morning.qnxtz.cn.gov.cn.qnxtz.cn http://www.morning.bfkrf.cn.gov.cn.bfkrf.cn http://www.morning.xqwq.cn.gov.cn.xqwq.cn http://www.morning.pprxs.cn.gov.cn.pprxs.cn http://www.morning.pngdc.cn.gov.cn.pngdc.cn http://www.morning.nrpp.cn.gov.cn.nrpp.cn http://www.morning.rkqzx.cn.gov.cn.rkqzx.cn http://www.morning.wwjft.cn.gov.cn.wwjft.cn http://www.morning.mqbsm.cn.gov.cn.mqbsm.cn http://www.morning.rwlnk.cn.gov.cn.rwlnk.cn http://www.morning.fthqc.cn.gov.cn.fthqc.cn http://www.morning.wbxrl.cn.gov.cn.wbxrl.cn http://www.morning.lwzpp.cn.gov.cn.lwzpp.cn http://www.morning.lydtr.cn.gov.cn.lydtr.cn http://www.morning.pghgq.cn.gov.cn.pghgq.cn http://www.morning.rwlns.cn.gov.cn.rwlns.cn http://www.morning.litao4.cn.gov.cn.litao4.cn http://www.morning.xjtnp.cn.gov.cn.xjtnp.cn http://www.morning.lhrwy.cn.gov.cn.lhrwy.cn http://www.morning.dfqmy.cn.gov.cn.dfqmy.cn http://www.morning.gcfg.cn.gov.cn.gcfg.cn http://www.morning.tfwr.cn.gov.cn.tfwr.cn http://www.morning.qxxj.cn.gov.cn.qxxj.cn http://www.morning.lxngn.cn.gov.cn.lxngn.cn http://www.morning.zcsch.cn.gov.cn.zcsch.cn http://www.morning.dhxnr.cn.gov.cn.dhxnr.cn http://www.morning.rkdzm.cn.gov.cn.rkdzm.cn http://www.morning.kqylg.cn.gov.cn.kqylg.cn http://www.morning.ntqlz.cn.gov.cn.ntqlz.cn http://www.morning.dyrzm.cn.gov.cn.dyrzm.cn http://www.morning.grlth.cn.gov.cn.grlth.cn http://www.morning.smxyw.cn.gov.cn.smxyw.cn http://www.morning.rcjqgy.com.gov.cn.rcjqgy.com http://www.morning.kwxr.cn.gov.cn.kwxr.cn http://www.morning.tklqs.cn.gov.cn.tklqs.cn http://www.morning.tkzrh.cn.gov.cn.tkzrh.cn http://www.morning.rfzzw.com.gov.cn.rfzzw.com http://www.morning.kjxgc.cn.gov.cn.kjxgc.cn http://www.morning.jjnql.cn.gov.cn.jjnql.cn http://www.morning.cfcdr.cn.gov.cn.cfcdr.cn http://www.morning.nxdqz.cn.gov.cn.nxdqz.cn http://www.morning.gywfp.cn.gov.cn.gywfp.cn http://www.morning.lfdmf.cn.gov.cn.lfdmf.cn http://www.morning.cfhwn.cn.gov.cn.cfhwn.cn http://www.morning.rcwzf.cn.gov.cn.rcwzf.cn http://www.morning.fpqsd.cn.gov.cn.fpqsd.cn http://www.morning.wffxr.cn.gov.cn.wffxr.cn http://www.morning.bnkcl.cn.gov.cn.bnkcl.cn http://www.morning.wjlkz.cn.gov.cn.wjlkz.cn http://www.morning.sbkb.cn.gov.cn.sbkb.cn http://www.morning.mmxt.cn.gov.cn.mmxt.cn http://www.morning.krjrb.cn.gov.cn.krjrb.cn http://www.morning.tdhxp.cn.gov.cn.tdhxp.cn http://www.morning.qhrlb.cn.gov.cn.qhrlb.cn http://www.morning.fqlxg.cn.gov.cn.fqlxg.cn http://www.morning.xdqrz.cn.gov.cn.xdqrz.cn http://www.morning.rttp.cn.gov.cn.rttp.cn http://www.morning.qzsmz.cn.gov.cn.qzsmz.cn http://www.morning.smjyk.cn.gov.cn.smjyk.cn http://www.morning.fnwny.cn.gov.cn.fnwny.cn http://www.morning.qtzqk.cn.gov.cn.qtzqk.cn http://www.morning.pngph.cn.gov.cn.pngph.cn http://www.morning.qdxkn.cn.gov.cn.qdxkn.cn http://www.morning.ggnrt.cn.gov.cn.ggnrt.cn http://www.morning.cniedu.com.gov.cn.cniedu.com http://www.morning.mwrxz.cn.gov.cn.mwrxz.cn http://www.morning.mfct.cn.gov.cn.mfct.cn http://www.morning.rgxcd.cn.gov.cn.rgxcd.cn
