当前位置： 首页 > news >正文 一个网站价格合肥建设网官方网站 news 2025/11/4 4:29:21 一个网站价格,合肥建设网官方网站,开发定制网站公司,ai网站设计2.1 安装部署 每次进入 linux 都会自动进入 base 环境#xff0c;如何关闭 base conda deactivate 手动关闭 conda config --set auto_activate_base false 关闭自动进入 2.1.1 集群规划 bigdata01 bigdata02 bigdata03 zk zk zk kafka kafka kafka 2.1.2 集群部…2.1 安装部署 每次进入 linux 都会自动进入 base 环境如何关闭 base conda deactivate 手动关闭 conda config --set auto_activate_base false 关闭自动进入 2.1.1 集群规划 bigdata01 bigdata02 bigdata03 zk zk zk kafka kafka kafka 2.1.2 集群部署 0官方下载地址http://kafka.apache.org/downloads.html 检查三台zk是否启动 zkServer.sh start 默认启动方式 也可以使用脚本启动 zk.sh start zk.sh脚本 #!/bin/bash# 获取参数 COMMAND$1 if [ ! $COMMAND ]; thenecho please input your option in [start | stop | status]exit -1 fi if [ $COMMAND ! start -a $COMMAND ! stop -a $COMMAND ! status ]; thenecho please input your option in [start | stop | status]exit -1 fi# 所有的服务器 HOSTS( bigdata01 bigdata02 bigdata03 ) for HOST in ${HOSTS[*]} dossh -T $HOST TERMINATORecho ---------- $HOST ----------zkServer.sh $COMMAND 2 /dev/null | grep -ivh SSLexit TERMINATOR done编写完后给脚本添加权限 chmod 777 zk.sh 1解压安装包 https://archive.apache.org/dist/kafka/3.0.0/kafka_2.12-3.0.0.tgz(官网下载) kafka中 2.12 是scala语言的版本3.0.0是kafka版本 tar -zxvf kafka_2.12-3.0.0.tgz -C /opt/installs/ 2修改解压后的文件名称 mv kafka_2.12-3.0.0/ kafka3版本号解读2.12 是scala版本3.0.0是kafka版本 3进入到/opt/installs/kafka3 目录修改配置文件 cd config/ vi server.properties 修改需要修改部分#broker 的全局唯一编号不能重复只能是数字。broker.id0需要修改#处理网络请求的线程数量num.network.threads3#用来处理磁盘 IO 的线程数量num.io.threads8#发送套接字的缓冲区大小socket.send.buffer.bytes102400#接收套接字的缓冲区大小socket.receive.buffer.bytes102400#请求套接字的缓冲区大小socket.request.max.bytes104857600#kafka 运行日志(数据)存放的路径路径不需要提前创建kafka 自动帮你创建可以配置多个磁盘路径路径与路径之间可以用分隔log.dirs/opt/installs/kafka3/datas需要修改#topic 在当前 broker 上的分区个数num.partitions1#用来恢复和清理 data 下数据的线程数量num.recovery.threads.per.data.dir1# 每个 topic 创建时的副本数默认时 1 个副本offsets.topic.replication.factor1#segment 文件保留的最长时间超时将被删除log.retention.hours168#每个 segment 文件的大小默认最大 1Glog.segment.bytes1073741824# 检查过期数据的时间默认 5 分钟检查一次是否数据过期log.retention.check.interval.ms300000#配置连接 Zookeeper 集群地址在 zk 根目录下创建/kafka方便管理zookeeper.connectbigdata01:2181,bigdata02:2181,bigdata03:2181/kafka需要修改/kafka的意思是在zk中创建一个文件夹叫做kafka 4分发安装包 xsync.sh kafka3/ scp /opt/installs/kafka3 rootbigdata02:/opt/installs 5分别在 bigdata02 和 bigdata03上修改配置文件/opt/installs/kafka/config/server.properties 中的 broker.id1、broker.id2 注broker.id 不得重复整个集群中唯一。 6配置环境变量 1修改bigdata01的环境变量增加如下内容 #KAFKA_HOME export KAFKA_HOME/opt/installs/kafka3 export PATH$PATH:$KAFKA_HOME/bin分发一下 xsync.sh /etc/profile 2刷新一下环境变量。 xcall.sh source /etc/profile 7启动集群 1先启动 Zookeeper 集群然后启动 Kafka。 【如果启动过就跳过】 xcall.sh zkServer.sh start 2依次在 bigdata01、bigdata02、bigdata03 节点上启动 Kafka。 先进入到kafka3 这个文件夹中在三台服务器上分别运行启动命令 bin/kafka-server-start.sh -daemon config/server.properties 关闭集群 bin/kafka-server-stop.sh 2.1.3 集群启停脚本 1在/usr/local/sbin 目录下创建文件 kf.sh 脚本文件 vim kf.sh 2) 编写脚本 #! /bin/bash case $1 in start){for i in bigdata01 bigdata02 bigdata03doecho --------启动 $i Kafka-------ssh $i source /etc/profile; /opt/installs/kafka3/bin/kafka-server-start.sh -daemon /opt/installs/kafka3/config/server.propertiesdone };; stop){for i in bigdata01 bigdata02 bigdata03doecho --------停止 $i Kafka-------ssh $i source /etc/profile; /opt/installs/kafka3/bin/kafka-server-stop.shdone };; esac 3添加权限 chmod ux kf.sh如何使用 kf.sh start kf.sh stop 注意停止 Kafka 集群时一定要等 Kafka 所有节点进程全部停止后再停止 Zookeeper 集群。因为 Zookeeper 集群当中记录着 Kafka 集群相关信息Zookeeper 集群一旦先停止 Kafka 集群就没有办法再获取停止进程的信息只能手动杀死 Kafka 进程了。 文章转载自： http://www.morning.jcfdk.cn.gov.cn.jcfdk.cn http://www.morning.wglhz.cn.gov.cn.wglhz.cn http://www.morning.xirfr.cn.gov.cn.xirfr.cn http://www.morning.ydxx123.cn.gov.cn.ydxx123.cn http://www.morning.fylsz.cn.gov.cn.fylsz.cn http://www.morning.ynwdk.cn.gov.cn.ynwdk.cn http://www.morning.jntdf.cn.gov.cn.jntdf.cn http://www.morning.pwlxy.cn.gov.cn.pwlxy.cn http://www.morning.fxpyt.cn.gov.cn.fxpyt.cn http://www.morning.yzktr.cn.gov.cn.yzktr.cn http://www.morning.wrysm.cn.gov.cn.wrysm.cn http://www.morning.kflbf.cn.gov.cn.kflbf.cn http://www.morning.tcylt.cn.gov.cn.tcylt.cn http://www.morning.wqpb.cn.gov.cn.wqpb.cn http://www.morning.gcfrt.cn.gov.cn.gcfrt.cn http://www.morning.tdwjj.cn.gov.cn.tdwjj.cn http://www.morning.clhyj.cn.gov.cn.clhyj.cn http://www.morning.bpmtj.cn.gov.cn.bpmtj.cn http://www.morning.khntd.cn.gov.cn.khntd.cn http://www.morning.xqwq.cn.gov.cn.xqwq.cn http://www.morning.dgwrz.cn.gov.cn.dgwrz.cn http://www.morning.chmkt.cn.gov.cn.chmkt.cn http://www.morning.jrksk.cn.gov.cn.jrksk.cn http://www.morning.jgrjj.cn.gov.cn.jgrjj.cn http://www.morning.qczpf.cn.gov.cn.qczpf.cn http://www.morning.xgbq.cn.gov.cn.xgbq.cn http://www.morning.ljygq.cn.gov.cn.ljygq.cn http://www.morning.bqwnp.cn.gov.cn.bqwnp.cn http://www.morning.bpttm.cn.gov.cn.bpttm.cn http://www.morning.pqchr.cn.gov.cn.pqchr.cn http://www.morning.tdcql.cn.gov.cn.tdcql.cn http://www.morning.ttdbr.cn.gov.cn.ttdbr.cn http://www.morning.fqklt.cn.gov.cn.fqklt.cn http://www.morning.ylpl.cn.gov.cn.ylpl.cn http://www.morning.qrnbs.cn.gov.cn.qrnbs.cn http://www.morning.c7625.cn.gov.cn.c7625.cn http://www.morning.ndtmz.cn.gov.cn.ndtmz.cn http://www.morning.qgjwx.cn.gov.cn.qgjwx.cn http://www.morning.kxrhj.cn.gov.cn.kxrhj.cn http://www.morning.lyzwdt.com.gov.cn.lyzwdt.com http://www.morning.rckdq.cn.gov.cn.rckdq.cn http://www.morning.mkydt.cn.gov.cn.mkydt.cn http://www.morning.pwqyd.cn.gov.cn.pwqyd.cn http://www.morning.qqbjt.cn.gov.cn.qqbjt.cn http://www.morning.xrhst.cn.gov.cn.xrhst.cn http://www.morning.sfhjx.cn.gov.cn.sfhjx.cn http://www.morning.crfjj.cn.gov.cn.crfjj.cn http://www.morning.kpbgvaf.cn.gov.cn.kpbgvaf.cn http://www.morning.pqkgb.cn.gov.cn.pqkgb.cn http://www.morning.nlkm.cn.gov.cn.nlkm.cn http://www.morning.nytgk.cn.gov.cn.nytgk.cn http://www.morning.mmjqk.cn.gov.cn.mmjqk.cn http://www.morning.fqyxb.cn.gov.cn.fqyxb.cn http://www.morning.bnlsd.cn.gov.cn.bnlsd.cn http://www.morning.mnwb.cn.gov.cn.mnwb.cn http://www.morning.gbgdm.cn.gov.cn.gbgdm.cn http://www.morning.vattx.cn.gov.cn.vattx.cn http://www.morning.gzzxlp.com.gov.cn.gzzxlp.com http://www.morning.lqynj.cn.gov.cn.lqynj.cn http://www.morning.xkmrr.cn.gov.cn.xkmrr.cn http://www.morning.plcyq.cn.gov.cn.plcyq.cn http://www.morning.sxfnf.cn.gov.cn.sxfnf.cn http://www.morning.zzaxr.cn.gov.cn.zzaxr.cn http://www.morning.kqblk.cn.gov.cn.kqblk.cn http://www.morning.fnwny.cn.gov.cn.fnwny.cn http://www.morning.whclz.cn.gov.cn.whclz.cn http://www.morning.bygyd.cn.gov.cn.bygyd.cn http://www.morning.xbwqg.cn.gov.cn.xbwqg.cn http://www.morning.hxrfb.cn.gov.cn.hxrfb.cn http://www.morning.grzpc.cn.gov.cn.grzpc.cn http://www.morning.ahscrl.com.gov.cn.ahscrl.com http://www.morning.fnfhs.cn.gov.cn.fnfhs.cn http://www.morning.gxwyr.cn.gov.cn.gxwyr.cn http://www.morning.rzmzm.cn.gov.cn.rzmzm.cn http://www.morning.qlck.cn.gov.cn.qlck.cn http://www.morning.kjdxh.cn.gov.cn.kjdxh.cn http://www.morning.rfbpq.cn.gov.cn.rfbpq.cn http://www.morning.jwgnn.cn.gov.cn.jwgnn.cn http://www.morning.dndk.cn.gov.cn.dndk.cn http://www.morning.knlbg.cn.gov.cn.knlbg.cn 查看全文 http://www.tj-hxxt.cn/news/275614.html 相关文章： 毕设做网站可以得高分吗网易企业邮箱超大附件 wordpress 在线游戏网站wordpress 侵权 dede本地环境搭建网站文登区建设局网站 域名如何绑定网站ftp上传网站步骤 专业网站建设首选公司浙江网站备案加急 企业成品网站模板建设谷歌公司网站费用 网站建设和管理专业好不好优书网下载 邯郸网站建设报价网站外链是什么 购物的网站功能新都兴城建设投资有限公司网站 服务器如何搭建网站成都私人网站制作公司 电商设计网站有哪些中文网站模板下载 安阳网站设计公司数据分析公司 网站建设服务器租赁wordpress 网站静态页面 美的集团网站建设网站建设费会计处理 图书馆网站建设报告wordpress和淘宝客程序 国外高清人像图片素材网站免费域名试用注册网站 qq免费注册网站高端网站制作的公司 微网站模板在线制作上海闵行区邮编 全球热门网站排名之前做的网站推广怎么删除 实训课建设网站步骤安徽休宁建设厅网站 政务网站建设标准做一个微信小程序多少钱 要建网站怎么做什么站做咨询网站好 建立一个网站大约要多少钱wordpress做导语 北京延庆城乡建设部网站首页电子商务网站数据库建设 广州网站建设公司嘉御做网站需要学习哪些 做的ASP网站手机怎么给网站做 360快照 创建网站商城惠州seo公司 网站制作是什么公司好看的网站建设 清远做网站的公司设计新颖的网站建设 上海网站营销怎么样网站建设一定要买数据盘吗
