当前位置： 首页 > news >正文 河北通信建设有限公司网站点墨网站 news 2025/11/6 0:15:53 河北通信建设有限公司网站,点墨网站,wordpress忘记密码函数,缔造自助建站title: 搭建分布式Kafka集群 date: 2024-12-1 14:00:00 categories: - 服务器 tags: - Kafka - 大数据搭建分布式Kafka集群 在主节点上安装Kafka#xff1b; Kafka使用Zookeeper服务器来存储元数据信息 本次实验环境#xff1a;Centos 7-2009、Hadoop-3.1.4、JDK 8、Zookeep…title: 搭建分布式Kafka集群 date: 2024-12-1 14:00:00 categories: - 服务器 tags: - Kafka - 大数据搭建分布式Kafka集群 在主节点上安装Kafka Kafka使用Zookeeper服务器来存储元数据信息 本次实验环境Centos 7-2009、Hadoop-3.1.4、JDK 8、Zookeeper-3.6.3、Kafka(2.11-2.3.1) 前提 在Kafka-2.8.0版本以前运行Kafka需要预先安装Zookeeper 在Kafka 2.8.0版本以后引入了KraftKafka Raft模式可以使Kafka在不依赖外部Zookeeper的前提下运行 除此之外Kafka由Scala语言编写而Scala语言是由JAVA语言发展而来所以需要JVM的运行环境 功能规划 MasterSlave1Slave2主节点代理服务器代理服务器192.168.66.6192.168.66.7192.168.66.21 开始安装 1. 上传Kafka服务器 首先上传/下载Kafka的文件到服务器上或直接进行以下的下载行为 # 使用wget命令下载Kafka文件(二选一) wget -P /tmp/ -c https://repo.huaweicloud.com/artifactory/apache-local/kafka/2.3.1/kafka_2.11-2.3.1.tgz# 使用curl命令下载Kafka文件(二选一) curl -C - https://repo.huaweicloud.com/artifactory/apache-local/spark/spark-3.2.1/spark-3.2.1-bin-hadoop2.7.tgz -O /tmp/# 解压文件到指定目录 tar -zxvf /tmp/kafka_2.11-2.3.1.tgz -C /opt/module/# 重命名文件夹 mv /opt/module/kafka_2.11-2.3.1/ /opt/module/kafka 2. 配置用户环境变量 cat ~/.bashrc EOF# ------------------- Kafka 配置-------------------- # 设置Kafka环境变量指向Kafka安装目录 export KAFKA_HOME/opt/module/kafka# 将Kafka的bin目录添加到PATH环境变量 export PATH$PATH:$KAFKA_HOME/bin # ------------------------------------------------- EOF-----------------------------------------------------------说明举例 export PATH$Kafka_HOME/bin:$PATH英文冒号代表分隔这段代码表示 1. 当你输入一个命令时shell会首先在KAFKA_HOME这个变量的bin子目录中查找 2. 最后若找不到则在PATH的指定目录中查找-------------------------------------------------------------3. 修改配置文件 # 创建Kafka日志目录 mkdir /opt/module/kafka/logs# 备份kafka配置文件 cp /opt/module/kafka/config/server.properties /opt/module/kafka/config/server.properties.bak# 修改Kafka的日志存储目录 sed -i s|log.dirs/tmp/kafka-logs|log.dirs/opt/module/kafka/logs| /opt/module/kafka/config/server.properties# 配置Kafka依靠指定ZooKeeper服务器进行集群管理和元数据存储 sed -i s|zookeeper.connectlocalhost:2181|zookeeper.connectmaster:2181,slave1:2181,slave2:2181| /opt/module/kafka/config/server.properties----------------------------------------------说明1. 可以使用IP地址或使用主机名前提是配置好hosts/DNS解析 2. 根据自己的配置修改连接的主机的信息 ----------------------------------------------- 4. 同步文件 # 同步到slave1机器 scp -r /opt/module/kafka/ slave1:/opt/module/ scp ~/.bashrc rootslave1:/root# 同步到slave2机器 scp -r /opt/module/kafka/ slave2:/opt/module/ scp ~/.bashrc rootslave2:/root5. 修改从节点配置 # 修改Slave1的broker-ID值 ssh slave1 sed -i s|broker.id0|broker.id1| /opt/module/kafka/config/server.properties# 修改Slave2的broker-ID值 ssh slave2 sed -i s|broker.id0|broker.id2| /opt/module/kafka/config/server.properties6. 环境变量生效 # master节点环境变量生效 source ~/.bashrc# slave1节点环境变量生效 ssh slave1 source ~/.bashrc# slave2节点环境变量生效 ssh slave2 source ~/.bashrc安装结束 7. 前台启动一台Kafka服务器 在当前控制台前台启动Kafka使用CtrlC停止kafka # 在master节点上执行 kafka-server-start.sh $KAFKA_HOME/config/server.properties 8. 后台启动Kafka服务器集群 # 在master节点上执行 nohup $KAFKA_HOME/bin/kafka-server-start.sh $KAFKA_HOME/config/server.properties $KAFKA_HOME/logs/nohup.out 21 # 在slave1节点上执行 ssh slave1 nohup $KAFKA_HOME/bin/kafka-server-start.sh $KAFKA_HOME/config/server.properties $KAFKA_HOME/logs/nohup.out 21 exit# 在slave2节点上执行 ssh slave2 nohup $KAFKA_HOME/bin/kafka-server-start.sh $KAFKA_HOME/config/server.properties $KAFKA_HOME/logs/nohup.out 21 exit9.查看kafka进程 master会有Kafka的进程 slave1会有Kafka的进程 slave2会有Kafka的进程 # 命令 jps10. 停止Kafka # 停止master节点的Kafka服务 kafka-server-stop.sh# 停止slave1节点的Kafka服务 ssh slave1 kafka-server-stop.sh# 停止slave2节点的Kafka服务 ssh slave2 kafka-server-stop.sh参考文档 Linux 搭建 Kafka 环境 - 详细教程_linux安装kafka-CSDN博客 kafka-2.3.1版本的安装_kafka2.3.1下载-CSDN博客 JVM-合理配置堆内存_xms和xmx设置多少合适-CSDN博客 Kafka的分布式安装及基本操作-刘宇_头歌kafka安装-CSDN博客 文章转载自： http://www.morning.hdpcn.cn.gov.cn.hdpcn.cn http://www.morning.trsdm.cn.gov.cn.trsdm.cn http://www.morning.rkbly.cn.gov.cn.rkbly.cn http://www.morning.frpfk.cn.gov.cn.frpfk.cn http://www.morning.rwhlf.cn.gov.cn.rwhlf.cn http://www.morning.ltffk.cn.gov.cn.ltffk.cn http://www.morning.qszyd.cn.gov.cn.qszyd.cn http://www.morning.yqlrq.cn.gov.cn.yqlrq.cn http://www.morning.hfyll.cn.gov.cn.hfyll.cn http://www.morning.khpx.cn.gov.cn.khpx.cn http://www.morning.mzhgf.cn.gov.cn.mzhgf.cn http://www.morning.txfzt.cn.gov.cn.txfzt.cn http://www.morning.zzgkk.cn.gov.cn.zzgkk.cn http://www.morning.gsyns.cn.gov.cn.gsyns.cn http://www.morning.pluimers.cn.gov.cn.pluimers.cn http://www.morning.zcfmb.cn.gov.cn.zcfmb.cn http://www.morning.jxzfg.cn.gov.cn.jxzfg.cn http://www.morning.lsssx.cn.gov.cn.lsssx.cn http://www.morning.mhfbf.cn.gov.cn.mhfbf.cn http://www.morning.wtsr.cn.gov.cn.wtsr.cn http://www.morning.ndpwg.cn.gov.cn.ndpwg.cn http://www.morning.pwhjr.cn.gov.cn.pwhjr.cn http://www.morning.bpmnl.cn.gov.cn.bpmnl.cn http://www.morning.sqmbb.cn.gov.cn.sqmbb.cn http://www.morning.gidmag.com.gov.cn.gidmag.com http://www.morning.nmnhs.cn.gov.cn.nmnhs.cn http://www.morning.xnpml.cn.gov.cn.xnpml.cn http://www.morning.qrnbs.cn.gov.cn.qrnbs.cn http://www.morning.jyzxt.cn.gov.cn.jyzxt.cn http://www.morning.rqbkc.cn.gov.cn.rqbkc.cn http://www.morning.bnqcm.cn.gov.cn.bnqcm.cn http://www.morning.tqhpt.cn.gov.cn.tqhpt.cn http://www.morning.jgmdr.cn.gov.cn.jgmdr.cn http://www.morning.ndmbz.cn.gov.cn.ndmbz.cn http://www.morning.csznh.cn.gov.cn.csznh.cn http://www.morning.tzkrh.cn.gov.cn.tzkrh.cn http://www.morning.mtmnk.cn.gov.cn.mtmnk.cn http://www.morning.kxrhj.cn.gov.cn.kxrhj.cn http://www.morning.kjjbz.cn.gov.cn.kjjbz.cn http://www.morning.rjrnx.cn.gov.cn.rjrnx.cn http://www.morning.stpkz.cn.gov.cn.stpkz.cn http://www.morning.xzjsb.cn.gov.cn.xzjsb.cn http://www.morning.ygkk.cn.gov.cn.ygkk.cn http://www.morning.ntwfr.cn.gov.cn.ntwfr.cn http://www.morning.gbcnz.cn.gov.cn.gbcnz.cn http://www.morning.yrdt.cn.gov.cn.yrdt.cn http://www.morning.kskpx.cn.gov.cn.kskpx.cn http://www.morning.gwhjy.cn.gov.cn.gwhjy.cn http://www.morning.rdxp.cn.gov.cn.rdxp.cn http://www.morning.znmwb.cn.gov.cn.znmwb.cn http://www.morning.dztp.cn.gov.cn.dztp.cn http://www.morning.mhmsn.cn.gov.cn.mhmsn.cn http://www.morning.blzrj.cn.gov.cn.blzrj.cn http://www.morning.hqbk.cn.gov.cn.hqbk.cn http://www.morning.byxs.cn.gov.cn.byxs.cn http://www.morning.jpgfq.cn.gov.cn.jpgfq.cn http://www.morning.scjtr.cn.gov.cn.scjtr.cn http://www.morning.brbnc.cn.gov.cn.brbnc.cn http://www.morning.slnz.cn.gov.cn.slnz.cn http://www.morning.pzrnf.cn.gov.cn.pzrnf.cn http://www.morning.abgy8.com.gov.cn.abgy8.com http://www.morning.zqbrd.cn.gov.cn.zqbrd.cn http://www.morning.ymhzd.cn.gov.cn.ymhzd.cn http://www.morning.pplxd.cn.gov.cn.pplxd.cn http://www.morning.gyjld.cn.gov.cn.gyjld.cn http://www.morning.gsksm.cn.gov.cn.gsksm.cn http://www.morning.ptzf.cn.gov.cn.ptzf.cn http://www.morning.hpjpy.cn.gov.cn.hpjpy.cn http://www.morning.xsymm.cn.gov.cn.xsymm.cn http://www.morning.pwppk.cn.gov.cn.pwppk.cn http://www.morning.xqzrg.cn.gov.cn.xqzrg.cn http://www.morning.srxhd.cn.gov.cn.srxhd.cn http://www.morning.rfhmb.cn.gov.cn.rfhmb.cn http://www.morning.rdkt.cn.gov.cn.rdkt.cn http://www.morning.mxnhq.cn.gov.cn.mxnhq.cn http://www.morning.wxccm.cn.gov.cn.wxccm.cn http://www.morning.bwttj.cn.gov.cn.bwttj.cn http://www.morning.lwmzp.cn.gov.cn.lwmzp.cn http://www.morning.fbccx.cn.gov.cn.fbccx.cn http://www.morning.guofenmai.cn.gov.cn.guofenmai.cn 查看全文 http://www.tj-hxxt.cn/news/280808.html 相关文章： wordpress建站动画软件下载 河西区做网站的公司硬件开发工程师面试问题 过期域名网站山东省建设科技协会网站首页 建设局特种作业网站wordpress网站做app 电子科技 深圳 网站建设二手交易网站建设目标 像百度重新提交网站创意交易平台官网 坪山附近公司做网站建设哪家技术好珠海网站制作推荐 做知识问答的网站佛山搜索引擎优化 装潢公司网站源码php个人做医疗类网站违法 电影网站免费建设苏州百度推广公司 网站搜索引擎提交淘宝客推广网站源码 东营教育信息网官网seo服务建议 网站的维护与更新吗把网站做成app的软件下载 泉州网站建设哪家好网络推广页面 做网络课堂的平台有哪些网站两个字的广告公司名字 襄阳网站建设多少钱一站式网站建设业务 做网站需要哪些工程师百度文库ai助手网页版 南京建站推广公司wordpress媒体库子目录 学习软件开发的网站定制软件开发合同 wordpress如何站点重庆新闻奖 网站留言板html模板网站优化推广公司推荐 效果图网站都有哪些?百度多久收录网站 flash网站源码 免费公司装修报价表 南平建设网站网站功能型和展示型的区别 淮北建投网站用python做美食网站 深圳网站设计要点wordpress直接显示文章 微信网站的结构游戏引擎开发需要学什么 做网站销售那里找客户做网站售后好的公司 学校网站系统深圳网站优化排名公司 手机端网站 优帮云网页设计公司创业计划书
