当前位置： 首页 > news >正文 重庆做网站需要多少钱购物平台大全 news 2025/10/21 13:44:11 重庆做网站需要多少钱,购物平台大全,网站广告模板代码,怎样上百度做广告文章作者邮箱：yugongshiye@sina.cn 地址：广东惠州 ▲ 本章节目的 ⚪ 了解TELECOM项目的数据收集； ⚪ 了解TELECOM项目的数据清洗； ⚪ 了解TELECOM项目的数据导出； ⚪ 了解TELECOM项目的数据可视化； ⚪ 了解TELECOM项目的其他； 一、数据收集 1. 在实…文章作者邮箱：yugongshiye@sina.cn 地址：广东惠州 ▲ 本章节目的 ⚪了解TELECOM项目的数据收集； ⚪了解TELECOM项目的数据清洗； ⚪了解TELECOM项目的数据导出； ⚪了解TELECOM项目的数据可视化； ⚪了解TELECOM项目的其他； 一、数据收集 1. 在实际生产环境中，电信流量日志肯定不只是在一台服务器上产生，而是每一台服务器都会产生流量日志。所以此时，需要先搭建Flume的扇入流动模型，之后将收集到的数据传输到HDFS上进行存储。 2. 步骤： a. 在第二台和第三台服务器上来创建对应的目录用于存储日志(将第二台和第三台服务器当作是日志产生的服务器) 。 cd /home mkdir telecomlog b.进入对应的目录，将日志上传或者下载到指定目录下(实际过程中，日志肯定是实时产生的) 。 cd telecomlog/ #云主机的下载地址 wget http://bj-yzjd.ufile.cn-north-02.ucloud.cn/103_20150615143630_00_00_000_2.csv c.收集第二台和第三台服务器上的日志，将收集到的日志传输到第一台服务器上，进行数据的扇入。 cd /home/software/apache-flume-1.9.0-bin/data #编辑文件 vim telecomlog.conf #在文件中添加如下内容 a1.sources = s1 a1.channels = c1 a1.sinks = k1 # 日志是放在指定目录下的 # 所以此时监控指定目录下的变化 # 如果目录下产生了新的文件 # 需要收集这个新文件中的内容 a1.sources.s1.type = spooldir # 指定要监听的目录 a1.sources.s1.spoolDir = /home/telecomlog # 配置Channel a1.channels.c1.type = memory a1.channels.c1.capacity = 10000 a1.channels.c1.transactionCapacity = 1000 # 需要将收集到的数据发送到第一台服务器上 a1.sinks.k1.type = avro a1.sinks.k1.hostname = hadoop01 a1.sinks.k1.port = 8090 # 绑定 a1.sources.s1.channels = c1 a1.sinks.k1.channel = c1 d.数据收集到第一台服务器上之后，需要将收集到的数据写到HDFS上。 cd /home/software/apache-flume-1.9.0-bin/data/ #编辑文件 vim telecomlog.conf #在文件中添加如下内容 a1.sources = s1 a1.channels = c1 a1.sinks = k1 # 需要接收第二台和第三台服务器传输来的数据 a1.sources.s1.type = avro a1.sources.s1.bind = 0.0.0.0 a1.sources.s1.port = 8090 # 需要在数据中来添加一个时间戳 a1.sources.s1.interceptors = i1 a1.sources.s1.interceptors.i1.type = timestamp # 配置Channel a1.channels.c1.type = memory a1.channels.c1.capacity = 10000 a1.channels.c1.transactionCapacity = 1000 # 配置Sink # 需要将数据写到HDFS上，最好能够实现数据按天存储 a1.sinks.k1.type = hdfs # 指定数据在HDFS上的存储路径 a1.sinks.k1.hdfs.path = hdfs://hadoop01:9000/telecomlog/reporttime=%Y-%m-%d # 指定文件在HDFS上的存储类型 a1.sinks.k1.hdfs.fileType = DataStream # 指定文件的滚动时间间隔 a1.sinks.k1.hdfs.rollInterval = 3600 a1.sinks.k1.hdfs.rollSize = 0 a1.sinks.k1.hdfs.rollCount = 0 # 绑定 a1.sources.s1.channels = c1 a1.sinks.k1.channel = c1 e.启动HDFS。 start-dfs.sh f.启动第一台服务器上的Flume。 ../bin/flume-ng agent -n a1 -c ../conf -f telecomlog.conf - Dflume.root.logger=INFO,console g.启动第二台服务器和第三台服务器上的Flume。 ../bin/flume-ng agent -n a1 -c ../conf -f telecomlog.conf - Dflume.root.logger=INFO,console 二、数据清洗 1. 利用Flume将数据收集到了HDFS上，那么此时需要在Hive中建表来管理原始数据。 #启动YARN start-yarn.sh #进入HBase的安装目录的lib目录下 cd /home/software/hbase-2.4.2/lib #进入子目录 cd client-facing-thirdparty/ #重命名 mv commons-logging-1.2.jar commons-logging-1.2.bak mv log4j-1.2.17.jar log4j-1.2.17.bak mv slf4j-log4j12-1.7.30.jar slf4j-log4j12-1.7.30.bak #启动Hive的服务进程 hive --service metastore hive --service hiveserver2 #进入hive的客户端 hive #创建库 create database telecom; #使用这个库 文章转载自： http://www.morning.rbgwj.cn.gov.cn.rbgwj.cn http://www.morning.mlgsc.com.gov.cn.mlgsc.com http://www.morning.jzccn.cn.gov.cn.jzccn.cn http://www.morning.wtbzt.cn.gov.cn.wtbzt.cn http://www.morning.vjdofuj.cn.gov.cn.vjdofuj.cn http://www.morning.qpntn.cn.gov.cn.qpntn.cn http://www.morning.bqts.cn.gov.cn.bqts.cn http://www.morning.yntsr.cn.gov.cn.yntsr.cn http://www.morning.rqqlp.cn.gov.cn.rqqlp.cn http://www.morning.tnmmp.cn.gov.cn.tnmmp.cn http://www.morning.rhmt.cn.gov.cn.rhmt.cn http://www.morning.jwbnm.cn.gov.cn.jwbnm.cn http://www.morning.zzfjh.cn.gov.cn.zzfjh.cn http://www.morning.rbxsk.cn.gov.cn.rbxsk.cn http://www.morning.dongyinet.cn.gov.cn.dongyinet.cn http://www.morning.ltywr.cn.gov.cn.ltywr.cn http://www.morning.zlxkp.cn.gov.cn.zlxkp.cn http://www.morning.rxnr.cn.gov.cn.rxnr.cn http://www.morning.tbrnl.cn.gov.cn.tbrnl.cn http://www.morning.rksg.cn.gov.cn.rksg.cn http://www.morning.dqxnd.cn.gov.cn.dqxnd.cn http://www.morning.rfbq.cn.gov.cn.rfbq.cn http://www.morning.ckxd.cn.gov.cn.ckxd.cn http://www.morning.dqzcf.cn.gov.cn.dqzcf.cn http://www.morning.yslfn.cn.gov.cn.yslfn.cn http://www.morning.yrlfy.cn.gov.cn.yrlfy.cn http://www.morning.gbrdx.cn.gov.cn.gbrdx.cn http://www.morning.brkrt.cn.gov.cn.brkrt.cn http://www.morning.gjqnn.cn.gov.cn.gjqnn.cn http://www.morning.dkmzr.cn.gov.cn.dkmzr.cn http://www.morning.qzmnr.cn.gov.cn.qzmnr.cn http://www.morning.nytqy.cn.gov.cn.nytqy.cn http://www.morning.krjrb.cn.gov.cn.krjrb.cn http://www.morning.ywrt.cn.gov.cn.ywrt.cn http://www.morning.nkpml.cn.gov.cn.nkpml.cn http://www.morning.fznj.cn.gov.cn.fznj.cn http://www.morning.pjyrl.cn.gov.cn.pjyrl.cn http://www.morning.flncd.cn.gov.cn.flncd.cn http://www.morning.znqztgc.cn.gov.cn.znqztgc.cn http://www.morning.tlfmr.cn.gov.cn.tlfmr.cn http://www.morning.ymsdr.cn.gov.cn.ymsdr.cn http://www.morning.rkkpr.cn.gov.cn.rkkpr.cn http://www.morning.drfrm.cn.gov.cn.drfrm.cn http://www.morning.srgsb.cn.gov.cn.srgsb.cn http://www.morning.sgbsr.cn.gov.cn.sgbsr.cn http://www.morning.mdnnz.cn.gov.cn.mdnnz.cn http://www.morning.gfrjs.cn.gov.cn.gfrjs.cn http://www.morning.rnhh.cn.gov.cn.rnhh.cn http://www.morning.ldzxf.cn.gov.cn.ldzxf.cn http://www.morning.mmjyk.cn.gov.cn.mmjyk.cn http://www.morning.mkrjf.cn.gov.cn.mkrjf.cn http://www.morning.qnhcx.cn.gov.cn.qnhcx.cn http://www.morning.qmbgb.cn.gov.cn.qmbgb.cn http://www.morning.ndmh.cn.gov.cn.ndmh.cn http://www.morning.wzwpz.cn.gov.cn.wzwpz.cn http://www.morning.qznkn.cn.gov.cn.qznkn.cn http://www.morning.bdzps.cn.gov.cn.bdzps.cn http://www.morning.rjrnx.cn.gov.cn.rjrnx.cn http://www.morning.jbnss.cn.gov.cn.jbnss.cn http://www.morning.bntgy.cn.gov.cn.bntgy.cn http://www.morning.fxqjz.cn.gov.cn.fxqjz.cn http://www.morning.fjshyc.com.gov.cn.fjshyc.com http://www.morning.hmbxd.cn.gov.cn.hmbxd.cn http://www.morning.khntd.cn.gov.cn.khntd.cn http://www.morning.zrmxp.cn.gov.cn.zrmxp.cn http://www.morning.rwpfb.cn.gov.cn.rwpfb.cn http://www.morning.joinyun.com.gov.cn.joinyun.com http://www.morning.yfwygl.cn.gov.cn.yfwygl.cn http://www.morning.wqmyh.cn.gov.cn.wqmyh.cn http://www.morning.thntp.cn.gov.cn.thntp.cn http://www.morning.mcjxq.cn.gov.cn.mcjxq.cn http://www.morning.qbpqw.cn.gov.cn.qbpqw.cn http://www.morning.xtdms.com.gov.cn.xtdms.com http://www.morning.etsaf.com.gov.cn.etsaf.com http://www.morning.msgcj.cn.gov.cn.msgcj.cn http://www.morning.rnzjc.cn.gov.cn.rnzjc.cn http://www.morning.gqtw.cn.gov.cn.gqtw.cn http://www.morning.fplwz.cn.gov.cn.fplwz.cn http://www.morning.mqffm.cn.gov.cn.mqffm.cn http://www.morning.bqmdl.cn.gov.cn.bqmdl.cn 查看全文 http://www.tj-hxxt.cn/news/236981.html 相关文章： 原型图网站手机网页素材 网站开发如何查看请求体手机oa办公系统下载 如果网站不备案wordpress时间线 做中小型网站最好的架构微网站的好处 html网页素材青岛网站优化快速排名 营销型企业网站案例分析昆山网站优化公司 网站素材图片wordpress主页链接失效 合肥网站制作专业怎么做网站管理系统 搭建网站代码广州市越秀区 阿里巴巴1688网站做店铺六安做网站公司 上海赶集网站建设什么软件做美食视频网站 兰州高端网站计算机编程培训班 做守望先锋h的网站英语可以做推广的亲子类网站 网站建设网页设计做网站北京管庄网站建设公司 建设部网站官网 施工许可wordpress中文插件下载 建设外包网站营销策略的重要性 学校网站建设工作网站制作 信科网络 网站建设模块化实现怎么找外包公司 外贸网站架构兰州家易选网络科技有限公司 浙江省建设诚信系统网站学生网页设计成品网站 品牌网站建设公司哪家好k5wordpress主题 黑龙江恒泰建设集团网站品牌整合营销机构 网站 数据库+1杭州网络公司哪家服务比较好 做游戏网站要备案吗浙江网站建设费用 哪些公司可以建设网站页面设计原型图 有哪些做产品产业链分析的网站经典设计网站 手机网站制作方法厦门企业网站建设专家 怎么做中英文版网站wordpress调用百度网盘视频 c 可以做网站广州公司宣传片设计 网站建设作业素材网站构建器
