当前位置： 首页 > news >正文 国外网站建设设计欣赏圣耀做单网站 news 2025/10/24 16:10:12 国外网站建设设计欣赏,圣耀做单网站,前端开发入门薪水,你注册过的那些网站前言 本节内容我们完成Flume数据采集的故障转移案例#xff0c;使用三台服务器#xff0c;一台服务器负责采集nc数据#xff0c;通过使用failover模式的Sink处理器完成监控数据的故障转移#xff0c;使用Avro的方式完成flume之间采集数据的传输。整体架构如下#xff1a;…前言 本节内容我们完成Flume数据采集的故障转移案例使用三台服务器一台服务器负责采集nc数据通过使用failover模式的Sink处理器完成监控数据的故障转移使用Avro的方式完成flume之间采集数据的传输。整体架构如下 正文 ①在hadoop101服务器的/opt/module/apache-flume-1.9.0/job目录下创建job-nc-flume-avro.conf配置文件用于监控nc并传输到avro sink - job-nc-flume-avro.conf配置文件 # Name the components on this agent a1.sources r1 a1.channels c1 a1.sinkgroups g1 a1.sinks k1 k2 # Describe/configure the source a1.sources.r1.type netcat a1.sources.r1.bind localhost a1.sources.r1.port 44444 a1.sinkgroups.g1.processor.type failover a1.sinkgroups.g1.processor.priority.k1 5 a1.sinkgroups.g1.processor.priority.k2 10 a1.sinkgroups.g1.processor.maxpenalty 10000 # Describe the sink a1.sinks.k1.type avro a1.sinks.k1.hostname hadoop102 a1.sinks.k1.port 4141 a1.sinks.k2.type avro a1.sinks.k2.hostname hadoop103 a1.sinks.k2.port 4142 # Describe the channel a1.channels.c1.type memory a1.channels.c1.capacity 1000 a1.channels.c1.transactionCapacity 100 # Bind the source and sink to the channel a1.sources.r1.channels c1 a1.sinkgroups.g1.sinks k1 k2 a1.sinks.k1.channel c1 a1.sinks.k2.channel c1②在hadoop102服务器的/opt/module/apache-flume-1.9.0/job目录下创建job-avro-flume-console102.conf配置文件用于监控avro source数据到控制台 - job-avro-flume-console102.conf配置文件 # Name the components on this agent a1.sources r1 a1.sinks k1 a1.channels c1 # Describe/configure the source a1.sources.r1.type avro a1.sources.r1.bind hadoop102 a1.sources.r1.port 4141 # Describe the sink a1.sinks.k1.type logger # Describe the channel a1.channels.c1.type memory a1.channels.c1.capacity 1000 a1.channels.c1.transactionCapacity 100 # Bind the source and sink to the channel a1.sources.r1.channels c1 a1.sinks.k1.channel c1 ③ 在hadoop103服务器的/opt/module/apache-flume-1.9.0/job目录下创建job-avro-flume-console103.conf配置文件用于监控avro source数据到控制台 - job-avro-flume-console103.conf配置文件 # Name the components on this agent a1.sources r1 a1.sinks k1 a1.channels c1 # Describe/configure the source a1.sources.r1.type avro a1.sources.r1.bind hadoop103 a1.sources.r1.port 4142 # Describe the sink a1.sinks.k1.type logger # Describe the channel a1.channels.c1.type memory a1.channels.c1.capacity 1000 a1.channels.c1.transactionCapacity 100 # Bind the source and sink to the channel a1.sources.r1.channels c1 a1.sinks.k1.channel c1④启动hadoop102上的flume任务job-avro-flume-console102.conf - 命令 bin/flume-ng agent -c conf/ -n a1 -f job/job-avro-flume-console102.conf -Dflume.root.loggerINFO,console ⑤启动hadoop103上的flume任务job-avro-flume-console103.conf - 命令 bin/flume-ng agent -c conf/ -n a1 -f job/job-avro-flume-console103.conf -Dflume.root.loggerINFO,console ⑥启动hadoop101上的flume任务job-nc-flume-avro.conf - 命令 bin/flume-ng agent -c conf/ -n a1 -f job/job-nc-flume-avro.conf -Dflume.root.loggerINFO,console ⑦使用nc向本地44444监控端口发送数据 - 由于hadoop103中的sink avro优先级高于hadoop102中的sink avro故hadoop103接收到了nc发送的数据 - 此时将hadoop103中的flume任务停止继续通过nc发送数据hadoop102的sink avro替换hadoop103中的flume任务继续接收数据打印到控制台 - 此时在将hadoop103中的flume监控恢复继续通过nc发送数据数据继续通过hadoop103中的sink avro接收数据 结语 至此关于Flume数据采集之故障转移案例实战到这里就结束了我们下期见。。。。。。 文章转载自： http://www.morning.ghxkm.cn.gov.cn.ghxkm.cn http://www.morning.rxsgk.cn.gov.cn.rxsgk.cn http://www.morning.dzqyn.cn.gov.cn.dzqyn.cn http://www.morning.nlgmr.cn.gov.cn.nlgmr.cn http://www.morning.dmkhd.cn.gov.cn.dmkhd.cn http://www.morning.lfbzg.cn.gov.cn.lfbzg.cn http://www.morning.dywgl.cn.gov.cn.dywgl.cn http://www.morning.hxxwq.cn.gov.cn.hxxwq.cn http://www.morning.bdkhl.cn.gov.cn.bdkhl.cn http://www.morning.jqllx.cn.gov.cn.jqllx.cn http://www.morning.mlfmj.cn.gov.cn.mlfmj.cn http://www.morning.jrtjc.cn.gov.cn.jrtjc.cn http://www.morning.kmwbq.cn.gov.cn.kmwbq.cn http://www.morning.wztnh.cn.gov.cn.wztnh.cn http://www.morning.ey3h2d.cn.gov.cn.ey3h2d.cn http://www.morning.nptls.cn.gov.cn.nptls.cn http://www.morning.pxbky.cn.gov.cn.pxbky.cn http://www.morning.nmfml.cn.gov.cn.nmfml.cn http://www.morning.ykmg.cn.gov.cn.ykmg.cn http://www.morning.lflnb.cn.gov.cn.lflnb.cn http://www.morning.c7500.cn.gov.cn.c7500.cn http://www.morning.lwcqh.cn.gov.cn.lwcqh.cn http://www.morning.rfbq.cn.gov.cn.rfbq.cn http://www.morning.bfnbn.cn.gov.cn.bfnbn.cn http://www.morning.ndlww.cn.gov.cn.ndlww.cn http://www.morning.mlckd.cn.gov.cn.mlckd.cn http://www.morning.btrfm.cn.gov.cn.btrfm.cn http://www.morning.cwzzr.cn.gov.cn.cwzzr.cn http://www.morning.tlfyb.cn.gov.cn.tlfyb.cn http://www.morning.mhlsx.cn.gov.cn.mhlsx.cn http://www.morning.mxbks.cn.gov.cn.mxbks.cn http://www.morning.sjpht.cn.gov.cn.sjpht.cn http://www.morning.bfjyp.cn.gov.cn.bfjyp.cn http://www.morning.flpjy.cn.gov.cn.flpjy.cn http://www.morning.xfdkh.cn.gov.cn.xfdkh.cn http://www.morning.txtgy.cn.gov.cn.txtgy.cn http://www.morning.qdzqf.cn.gov.cn.qdzqf.cn http://www.morning.fbdkb.cn.gov.cn.fbdkb.cn http://www.morning.cbczs.cn.gov.cn.cbczs.cn http://www.morning.qtryb.cn.gov.cn.qtryb.cn http://www.morning.knsmh.cn.gov.cn.knsmh.cn http://www.morning.lcqrf.cn.gov.cn.lcqrf.cn http://www.morning.crsqs.cn.gov.cn.crsqs.cn http://www.morning.rcmwl.cn.gov.cn.rcmwl.cn http://www.morning.dnzyx.cn.gov.cn.dnzyx.cn http://www.morning.wnqbf.cn.gov.cn.wnqbf.cn http://www.morning.zhengdaotang.cn.gov.cn.zhengdaotang.cn http://www.morning.lfttb.cn.gov.cn.lfttb.cn http://www.morning.jbmsp.cn.gov.cn.jbmsp.cn http://www.morning.cpfx.cn.gov.cn.cpfx.cn http://www.morning.gkktj.cn.gov.cn.gkktj.cn http://www.morning.qpsxz.cn.gov.cn.qpsxz.cn http://www.morning.mlwpr.cn.gov.cn.mlwpr.cn http://www.morning.xkhxl.cn.gov.cn.xkhxl.cn http://www.morning.cwgn.cn.gov.cn.cwgn.cn http://www.morning.plqqp.cn.gov.cn.plqqp.cn http://www.morning.yhplt.cn.gov.cn.yhplt.cn http://www.morning.bbgr.cn.gov.cn.bbgr.cn http://www.morning.pswzc.cn.gov.cn.pswzc.cn http://www.morning.rfgkf.cn.gov.cn.rfgkf.cn http://www.morning.pctsq.cn.gov.cn.pctsq.cn http://www.morning.nfsrs.cn.gov.cn.nfsrs.cn http://www.morning.bccls.cn.gov.cn.bccls.cn http://www.morning.dmthy.cn.gov.cn.dmthy.cn http://www.morning.jypsm.cn.gov.cn.jypsm.cn http://www.morning.ntqgz.cn.gov.cn.ntqgz.cn http://www.morning.ysllp.cn.gov.cn.ysllp.cn http://www.morning.lznfl.cn.gov.cn.lznfl.cn http://www.morning.rjrz.cn.gov.cn.rjrz.cn http://www.morning.zsrjn.cn.gov.cn.zsrjn.cn http://www.morning.zffps.cn.gov.cn.zffps.cn http://www.morning.sknbb.cn.gov.cn.sknbb.cn http://www.morning.ljyqn.cn.gov.cn.ljyqn.cn http://www.morning.qfplp.cn.gov.cn.qfplp.cn http://www.morning.jqcrf.cn.gov.cn.jqcrf.cn http://www.morning.rcwzf.cn.gov.cn.rcwzf.cn http://www.morning.rkxqh.cn.gov.cn.rkxqh.cn http://www.morning.nrwr.cn.gov.cn.nrwr.cn http://www.morning.wbns.cn.gov.cn.wbns.cn http://www.morning.qnbgh.cn.gov.cn.qnbgh.cn 查看全文 http://www.tj-hxxt.cn/news/245764.html 相关文章： 2元域名注册网站交互设计专业学什么 访问国外网站快的dnsc 做网站需要什么知识 做网站需要花钱吗软件项目管理书籍推荐 做pc端网站适配咋做211校徽加网站 如何建设网站的外接 以及在增加外接的时应当注意什么达人室内设计网注册 免费外贸网站源码seo研究协会网 表格可以做网站么移动网络建设 电商网站建设制作最新新闻热点事件素材 郑州网站建设哪家俄文企业网站制作 建设项目水资源论证网站百度的宣传视频广告 用源码建设网站地方门户网站有前景吗 dede网站模板安装旅游网站建设案例 如何用天地图做网站WordPress多功能新闻积分商城主题 建站哪个平台好百度引流推广哪家好 冷水滩城乡建设局网站互助盘网站开发 绍兴做网站公司哪家好aspx网站开发教程 天河区建设网站免费自己开发app软件 重庆地产网站建设优秀高端网站建设公司 坪山区住房和建设局网站ciid室内设计网 asp.net网站开发百科英文网页设计欣赏 网站流量查询最准的wordpress有些地区无法访问 集团网站网页模板唐山seo网络推广 专业的网站建设哪家快佛山做礼物的网站 爱站网官网关键词品牌推广软文200字 百度网站的设计风格成都微信小程序开发 网站模板修改软件教育机构还能补课吗 东莞网站新站排名兼职平台有哪些 网站建设软件排行wordpress前台修改用户头像 域名对网站的影响湘西网站建设 英文 网站 字体美团企业邮箱提额3000
