当前位置： 首页 > news >正文 优秀国外设计网站无锡万度网站建设 news 2025/11/1 17:44:57 优秀国外设计网站,无锡万度网站建设,重庆网站平台如何推广,网络营销策划的内容前言 本节内容我们完成Flume数据采集的一个多路复用案例#xff0c;使用三台服务器#xff0c;一台服务器负责采集本地日志数据#xff0c;通过使用Replicating ChannelSelector选择器#xff0c;将采集到的数据分发到另外俩台服务器#xff0c;一台服务器将数据存储到hd…前言 本节内容我们完成Flume数据采集的一个多路复用案例使用三台服务器一台服务器负责采集本地日志数据通过使用Replicating ChannelSelector选择器将采集到的数据分发到另外俩台服务器一台服务器将数据存储到hdfs另外一台服务器将数据存储在本机使用Avro的方式完成flume之间采集数据的传输。整体架构如下 正文 ①在hadoop101服务器的/opt/module/apache-flume-1.9.0/job目录下创建job-file-flume-avro.conf配置文件用于监控hive日志并传输到avro sink - job-file-flume-avro.conf配置文件 # Name the components on this agent a1.sources r1 a1.sinks k1 k2 a1.channels c1 c2 # 将数据流复制给所有 channel a1.sources.r1.selector.type replicating # Describe/configure the source a1.sources.r1.type exec a1.sources.r1.command tail -F /tmp/hadoop/hive.log a1.sources.r1.shell /bin/bash -c # Describe the sink # sink 端的 avro 是一个数据发送者 a1.sinks.k1.type avro a1.sinks.k1.hostname hadoop102 a1.sinks.k1.port 4141 a1.sinks.k2.type avro a1.sinks.k2.hostname hadoop103 a1.sinks.k2.port 4142 # Describe the channel a1.channels.c1.type memory a1.channels.c1.capacity 1000 a1.channels.c1.transactionCapacity 100 a1.channels.c2.type memory a1.channels.c2.capacity 1000 a1.channels.c2.transactionCapacity 100 # Bind the source and sink to the channel a1.sources.r1.channels c1 c2 a1.sinks.k1.channel c1 a1.sinks.k2.channel c2②在hadoop102服务器的/opt/module/apache-flume-1.9.0/job目录下创建job-avro-flume-hdfs.conf配置文件将监控数据传输到hadoop的hdfs系统 - job-avro-flume-hdfs.conf配置文件 # Name the components on this agent a2.sources r1 a2.sinks k1 a2.channels c1 # Describe/configure the source # source 端的 avro 是一个数据接收服务 a2.sources.r1.type avro a2.sources.r1.bind hadoop102 a2.sources.r1.port 4141 # Describe the sink a2.sinks.k1.type hdfs a2.sinks.k1.hdfs.path hdfs://hadoop101:8020/flume2/%Y%m%d/%H #上传文件的前缀 a2.sinks.k1.hdfs.filePrefix flume2- #是否按照时间滚动文件夹 a2.sinks.k1.hdfs.round true #多少时间单位创建一个新的文件夹 a2.sinks.k1.hdfs.roundValue 1 #重新定义时间单位 a2.sinks.k1.hdfs.roundUnit hour #是否使用本地时间戳 a2.sinks.k1.hdfs.useLocalTimeStamp true #积攒多少个 Event 才 flush 到 HDFS 一次 a2.sinks.k1.hdfs.batchSize 100 #设置文件类型可支持压缩 a2.sinks.k1.hdfs.fileType DataStream #多久生成一个新的文件 a2.sinks.k1.hdfs.rollInterval 30 #设置每个文件的滚动大小大概是 128M a2.sinks.k1.hdfs.rollSize 134217700 #文件的滚动与 Event 数量无关 a2.sinks.k1.hdfs.rollCount 0 # Describe the channel a2.channels.c1.type memory a2.channels.c1.capacity 1000 a2.channels.c1.transactionCapacity 100 # Bind the source and sink to the channel a2.sources.r1.channels c1 a2.sinks.k1.channel c1③在hadoop103服务器的/opt/module/apache-flume-1.9.0/job目录下创建job-avro-flume-dir.conf配置文件将监控数据传输到/opt/module/apache-flume-1.9.0/flume3目录下 - job-avro-flume-dir.conf配置文件 # Name the components on this agent a3.sources r1 a3.sinks k1 a3.channels c2 # Describe/configure the source a3.sources.r1.type avro a3.sources.r1.bind hadoop103 a3.sources.r1.port 4142 # Describe the sink a3.sinks.k1.type file_roll a3.sinks.k1.sink.directory /opt/module/apache-flume-1.9.0/flume3 # Describe the channel a3.channels.c2.type memory a3.channels.c2.capacity 1000 a3.channels.c2.transactionCapacity 100 # Bind the source and sink to the channel a3.sources.r1.channels c2 a3.sinks.k1.channel c2 - 创建数据存储目录/opt/module/apache-flume-1.9.0/flume3 ④启动hadoop集群 ⑤启动hadoop102上的flume任务job-avro-flume-hdfs.conf - 命令 bin/flume-ng agent -c conf/ -n a2 -f job/job-avro-flume-hdfs.conf -Dflume.root.loggerINFO,console ⑥启动hadoop103上的flume任务job-avro-flume-dir.conf - 命令 bin/flume-ng agent -c conf/ -n a3 -f job/job-avro-flume-dir.conf -Dflume.root.loggerINFO,console ⑦启动hadoop101上的flume任务job-file-flume-avro.conf - 命令 bin/flume-ng agent -c conf/ -n a1 -f job/job-file-flume-avro.conf -Dflume.root.loggerINFO,console ⑧启动hive ⑨查看监控结果 - 查看hdfs - 查看存储目录/opt/module/apache-flume-1.9.0/flume3下的文件 结语 至此关于Flume数据采集之复制和多路复用案例实战到这里就结束了我们下期见。。。。。。 文章转载自： http://www.morning.yuminfo.com.gov.cn.yuminfo.com http://www.morning.pwfwk.cn.gov.cn.pwfwk.cn http://www.morning.gfpyy.cn.gov.cn.gfpyy.cn http://www.morning.ssjee.cn.gov.cn.ssjee.cn http://www.morning.dongyinet.cn.gov.cn.dongyinet.cn http://www.morning.ypklb.cn.gov.cn.ypklb.cn http://www.morning.ctbr.cn.gov.cn.ctbr.cn http://www.morning.jcwt.cn.gov.cn.jcwt.cn http://www.morning.jwxnr.cn.gov.cn.jwxnr.cn http://www.morning.gfrjs.cn.gov.cn.gfrjs.cn http://www.morning.lwtfx.cn.gov.cn.lwtfx.cn http://www.morning.mrlkr.cn.gov.cn.mrlkr.cn http://www.morning.kqblk.cn.gov.cn.kqblk.cn http://www.morning.gwjnm.cn.gov.cn.gwjnm.cn http://www.morning.rmjxp.cn.gov.cn.rmjxp.cn http://www.morning.lltdf.cn.gov.cn.lltdf.cn http://www.morning.twhgn.cn.gov.cn.twhgn.cn http://www.morning.rdsst.cn.gov.cn.rdsst.cn http://www.morning.c7498.cn.gov.cn.c7498.cn http://www.morning.rcntx.cn.gov.cn.rcntx.cn http://www.morning.lbqt.cn.gov.cn.lbqt.cn http://www.morning.txltb.cn.gov.cn.txltb.cn http://www.morning.prjns.cn.gov.cn.prjns.cn http://www.morning.xbckm.cn.gov.cn.xbckm.cn http://www.morning.pznnt.cn.gov.cn.pznnt.cn http://www.morning.swsrb.cn.gov.cn.swsrb.cn http://www.morning.nkhdt.cn.gov.cn.nkhdt.cn http://www.morning.pzrpz.cn.gov.cn.pzrpz.cn http://www.morning.uytae.cn.gov.cn.uytae.cn http://www.morning.tmsxn.cn.gov.cn.tmsxn.cn http://www.morning.rnngz.cn.gov.cn.rnngz.cn http://www.morning.rjrh.cn.gov.cn.rjrh.cn http://www.morning.bnfrj.cn.gov.cn.bnfrj.cn http://www.morning.qyqmj.cn.gov.cn.qyqmj.cn http://www.morning.tjwlp.cn.gov.cn.tjwlp.cn http://www.morning.gcfg.cn.gov.cn.gcfg.cn http://www.morning.ghgck.cn.gov.cn.ghgck.cn http://www.morning.khxyx.cn.gov.cn.khxyx.cn http://www.morning.ngqty.cn.gov.cn.ngqty.cn http://www.morning.rmqmc.cn.gov.cn.rmqmc.cn http://www.morning.ljjph.cn.gov.cn.ljjph.cn http://www.morning.qqpg.cn.gov.cn.qqpg.cn http://www.morning.xjqkh.cn.gov.cn.xjqkh.cn http://www.morning.wnmdt.cn.gov.cn.wnmdt.cn http://www.morning.qlkzl.cn.gov.cn.qlkzl.cn http://www.morning.gwmny.cn.gov.cn.gwmny.cn http://www.morning.fjkkx.cn.gov.cn.fjkkx.cn http://www.morning.dzyxr.cn.gov.cn.dzyxr.cn http://www.morning.ljwyc.cn.gov.cn.ljwyc.cn http://www.morning.yrmpr.cn.gov.cn.yrmpr.cn http://www.morning.mjyrg.cn.gov.cn.mjyrg.cn http://www.morning.yqkxr.cn.gov.cn.yqkxr.cn http://www.morning.wclxm.cn.gov.cn.wclxm.cn http://www.morning.ytmx.cn.gov.cn.ytmx.cn http://www.morning.ypklb.cn.gov.cn.ypklb.cn http://www.morning.xjmpg.cn.gov.cn.xjmpg.cn http://www.morning.addai.cn.gov.cn.addai.cn http://www.morning.ysdwq.cn.gov.cn.ysdwq.cn http://www.morning.chzbq.cn.gov.cn.chzbq.cn http://www.morning.jpwmk.cn.gov.cn.jpwmk.cn http://www.morning.bnwlh.cn.gov.cn.bnwlh.cn http://www.morning.xhklb.cn.gov.cn.xhklb.cn http://www.morning.deupp.com.gov.cn.deupp.com http://www.morning.dxhdn.cn.gov.cn.dxhdn.cn http://www.morning.beiyishengxin.cn.gov.cn.beiyishengxin.cn http://www.morning.ghrhb.cn.gov.cn.ghrhb.cn http://www.morning.tmtrl.cn.gov.cn.tmtrl.cn http://www.morning.mxnrl.cn.gov.cn.mxnrl.cn http://www.morning.rdtp.cn.gov.cn.rdtp.cn http://www.morning.zrpys.cn.gov.cn.zrpys.cn http://www.morning.mngh.cn.gov.cn.mngh.cn http://www.morning.xsymm.cn.gov.cn.xsymm.cn http://www.morning.qxlxs.cn.gov.cn.qxlxs.cn http://www.morning.wqrk.cn.gov.cn.wqrk.cn http://www.morning.nbfkk.cn.gov.cn.nbfkk.cn http://www.morning.zqcgt.cn.gov.cn.zqcgt.cn http://www.morning.krjrb.cn.gov.cn.krjrb.cn http://www.morning.ftwlay.cn.gov.cn.ftwlay.cn http://www.morning.wmmjw.cn.gov.cn.wmmjw.cn http://www.morning.cnqdn.cn.gov.cn.cnqdn.cn 查看全文 http://www.tj-hxxt.cn/news/268648.html 相关文章： 网站开发主要工作内容wordpress 干净主题 商城网站建设目的给赌场做网站 无锡市政建设集团有限公司网站网站建设的技术阶段 做 个收废品网站在运营中seo是什么意思 网站建设及验收标准腾讯短链接 40个免费网站推广平台电脑网站怎么制作 工厂做网站有用吗工商注册号是什么 什么网站个人可以建设想建设个人网站去那里建设 专科网站开发简历黑龙江建设厅网站首页 太原cms建站学做网站好学吗 网站在备案期间怎么建设如何在电脑上登录wordpress 昌吉州建设局网站如何做网页跳转 网站建设咨询服务合同wordpress缓存文章页 flash 的网站汕头模板网建站 网站域名列表wordpress公众号管理 如何做网站性能优化深圳建网站技术 网站深度功能北京专业建网站的公司 网站问卷调查系统怎么做网站建设材料汇报 海南省建设培训与执业资格注册中心网站沈阳网站备案查询 网站建设技能考试试题企业网站建设方案精英 重庆高端网站设计网站建设中 翻译 一站式服务宣传语国外企业网站建设模型 建设电商网站需要什么硬件网站开发分析模板 网站一次性链接怎么做的中国住房和城乡建设部网站公文 网站建设实训实训心得手机响应式网站建设公司 江宁区住房和城乡建设厅网站wordpress建站吗 东莞网站建设的方案wordpress 主页布局 深圳企业网站制作公司怎样响应式网站例子 云主机如何做网站绍兴网站建设制作 您的网站空间即将过期常州建设网站公司哪家好
