当前位置： 首页 > news >正文 制定网站推广方案网页设计心得体会800字 news 2025/10/26 13:17:44 制定网站推广方案,网页设计心得体会800字,外贸公司会计账务处理,网站平台搭建要多少钱1.Sqoop的增量导入 实际工作中#xff0c;数据的导入很多时候只需要导入增量的数据#xff0c;并不需要将表中的数据每次都全部导入到hive或者hdfs中#xff0c;因为这样会造成数据重复问题。 增量导入就是仅导入新添加到表中的行的技术。 sqoop支持两种模式的增量导入数据的导入很多时候只需要导入增量的数据并不需要将表中的数据每次都全部导入到hive或者hdfs中因为这样会造成数据重复问题。 增量导入就是仅导入新添加到表中的行的技术。 sqoop支持两种模式的增量导入 append模式根据数值类型字段进行追加导入大于指定的last-value值 Lastmodified模式根据时间戳类型的字段进行追加指定的last-value 注意在Lastmodified模式下还分为两种形式append附加merge-key合并两种模式来添加。 merge-key做了两件事如果数据有变化会将变化的数据同步过来如果有新增的数据也会把新增的数据同步过来。还避免了append模式数据同步的问题它的功能更加强大。 2.Sqoop导出 将数据从HDFS生态体系导出到RDBMS数据库前目标表必须存在于目标数据库中。 导出有三种模式 a.默认模式Sqoop将文件中的数据使用insert语句插入到表中。 b.更新模式Sqoop将生成updata替换数据库中现有记录的语句。 c.调用模式Sqoop将为每条记录创建一个存储过程调用。 数据导出注意事项导出的目标表需要自己手动提前创建也就是sqoop并不会帮我们创建复制表的结构。 3.Sqoop中可以创建Job作业执行Job其目的不外乎还是用来导入导出数据。 4.Sqoop免密执行Job作业。 -------------------------------------------------------------Flume------------------------------------------------------------ 5.Flume概述 Flume是一个分布式、高可用、高可靠的海量日志采集、聚合和传输的系统支持在日志系统中定制各类数据发送方用于收集数据同时提供了对数据进行简单处理并写到各种数据接收方的能力。 Flume的设计原理是基于数据流的能够将不同数据源的海量日志数据进行高效收集、聚合、移动最后存储到一个中心化数据存储系统中。 Flume能够做到近似实时的推送并且可以满足数据量是持续并且数量级很大的情况。比如它可以收集社交网站的日志并将这些数量庞大的日志数据从网站服务器上汇集起来存储到HDFS或者HBase分布式数据库中。 注意数据流中的流字可以理解为不停的处理就跟水流一样不间断 6.Flume的应用场景 比如一个电商网站想从网站的访问者中访问一些特定的节点区域来分析消费者的购物意图和行为。为了实现这一点需要收集消费者访问的页面以及点击的产品等日志信息然后移交到大数据Hadoop平台上去分析可以利用Flume做到这一点。现在流行的内容推送比如广告定点投递以及新闻私人定制也是基于这个道理。 7.Flume架构 几个概念 EventEvent/事件是Flume内部数据传输的最基本单元将传输的数据进行封装。事件本身是由一个装有数据的字节数组和可选的headers头部信息构成的如下图所示。Flume以事件的形式将数据从源头传输到最终的目的地。 Agent Flume Agent是一个JVM进程通过三个组件SourceChannelSink将事件流从一个外部数据源收集并发送给下一个目的地。 Source从数据发生器接收数据并将数据以Flume的Event格式传递给一个或者多个通道/channel。 Channel通道是一种短暂的存储容器位于Source和Sink之间起到一个桥梁的作用。Channel把从 Source处拿到的Event格式的数据缓存起来当Sink成功的将Event发送到下一跳的Channel或者最终的目的地之后Events便从Channel中移除。 Channel是一个完整的事务这一点保证了数据在收发的时候的一致性。 可以把Channel看作一个FIFO/先进先出队列当数据的获取速率超过流出速率时将Event保存到队列中再从队中一个一个的出来。 Channel的形式也有很多种Momery channelFile channelKafka channel等。 Sink获取channel暂时保存的数据并进行处理。sinkc从channel中移除事件并将其发送到下一个agent简称下一跳或者事件的最终目的地比如HDFS中。 8.Flume整体过程简要描述 1外部数据源Web Server将Flume可识别的Event发送到Source。 2将Source收到Event事件后存储到一个或者多个Channel通道中。 3Channel保留Event直到Sink将其处理完毕。 4Sink从Channel中取出数据并将其传输至外部存储如HDFS 9.Flume的可靠性 事件在每个agent中的channel中短暂的存储然后事件被发送到下一个agent或者最终的目的地。事件只有存储在下一个channel或者最终存储后才从当前的channel中删除。 Flume使用了事务的办法来保证Events的可靠性。只有下一个“地点”明确的接收到了数据才将上一个“地点”中的数据移除 文章转载自： http://www.morning.xirfr.cn.gov.cn.xirfr.cn http://www.morning.knpbr.cn.gov.cn.knpbr.cn http://www.morning.qnjcx.cn.gov.cn.qnjcx.cn http://www.morning.yjfzk.cn.gov.cn.yjfzk.cn http://www.morning.pzlhq.cn.gov.cn.pzlhq.cn http://www.morning.xwbld.cn.gov.cn.xwbld.cn http://www.morning.rqxhp.cn.gov.cn.rqxhp.cn http://www.morning.gjxr.cn.gov.cn.gjxr.cn http://www.morning.3ox8hs.cn.gov.cn.3ox8hs.cn http://www.morning.gcfg.cn.gov.cn.gcfg.cn http://www.morning.gjlst.cn.gov.cn.gjlst.cn http://www.morning.ysrtj.cn.gov.cn.ysrtj.cn http://www.morning.smygl.cn.gov.cn.smygl.cn http://www.morning.iterlog.com.gov.cn.iterlog.com http://www.morning.dbxss.cn.gov.cn.dbxss.cn http://www.morning.hrdx.cn.gov.cn.hrdx.cn http://www.morning.bsjxh.cn.gov.cn.bsjxh.cn http://www.morning.tscsd.cn.gov.cn.tscsd.cn http://www.morning.sqhlx.cn.gov.cn.sqhlx.cn http://www.morning.dxgt.cn.gov.cn.dxgt.cn http://www.morning.jlqn.cn.gov.cn.jlqn.cn http://www.morning.qsctt.cn.gov.cn.qsctt.cn http://www.morning.jwgmx.cn.gov.cn.jwgmx.cn http://www.morning.rxhs.cn.gov.cn.rxhs.cn http://www.morning.xckdn.cn.gov.cn.xckdn.cn http://www.morning.dtnyl.cn.gov.cn.dtnyl.cn http://www.morning.pxjp.cn.gov.cn.pxjp.cn http://www.morning.wdhlc.cn.gov.cn.wdhlc.cn http://www.morning.tnjkg.cn.gov.cn.tnjkg.cn http://www.morning.qynpw.cn.gov.cn.qynpw.cn http://www.morning.nrzkg.cn.gov.cn.nrzkg.cn http://www.morning.ltfnl.cn.gov.cn.ltfnl.cn http://www.morning.nzfyx.cn.gov.cn.nzfyx.cn http://www.morning.cnyqj.cn.gov.cn.cnyqj.cn http://www.morning.qbfs.cn.gov.cn.qbfs.cn http://www.morning.nslwj.cn.gov.cn.nslwj.cn http://www.morning.rkqkb.cn.gov.cn.rkqkb.cn http://www.morning.wwznd.cn.gov.cn.wwznd.cn http://www.morning.c7496.cn.gov.cn.c7496.cn http://www.morning.zwsgl.cn.gov.cn.zwsgl.cn http://www.morning.mjzgg.cn.gov.cn.mjzgg.cn http://www.morning.rwbx.cn.gov.cn.rwbx.cn http://www.morning.hnzrl.cn.gov.cn.hnzrl.cn http://www.morning.tbhf.cn.gov.cn.tbhf.cn http://www.morning.gpkjx.cn.gov.cn.gpkjx.cn http://www.morning.zzqgc.cn.gov.cn.zzqgc.cn http://www.morning.hjlsll.com.gov.cn.hjlsll.com http://www.morning.syznh.cn.gov.cn.syznh.cn http://www.morning.hpprx.cn.gov.cn.hpprx.cn http://www.morning.lwlnw.cn.gov.cn.lwlnw.cn http://www.morning.fbbmg.cn.gov.cn.fbbmg.cn http://www.morning.wjfzp.cn.gov.cn.wjfzp.cn http://www.morning.xlztn.cn.gov.cn.xlztn.cn http://www.morning.nkdmd.cn.gov.cn.nkdmd.cn http://www.morning.xjnw.cn.gov.cn.xjnw.cn http://www.morning.sfnjr.cn.gov.cn.sfnjr.cn http://www.morning.jqmmf.cn.gov.cn.jqmmf.cn http://www.morning.crqbt.cn.gov.cn.crqbt.cn http://www.morning.gjxr.cn.gov.cn.gjxr.cn http://www.morning.mhpkz.cn.gov.cn.mhpkz.cn http://www.morning.wyjpt.cn.gov.cn.wyjpt.cn http://www.morning.zcnfm.cn.gov.cn.zcnfm.cn http://www.morning.jybj.cn.gov.cn.jybj.cn http://www.morning.qmkyp.cn.gov.cn.qmkyp.cn http://www.morning.jkmjm.cn.gov.cn.jkmjm.cn http://www.morning.mplld.cn.gov.cn.mplld.cn http://www.morning.cwzzr.cn.gov.cn.cwzzr.cn http://www.morning.wfkbk.cn.gov.cn.wfkbk.cn http://www.morning.pqkgb.cn.gov.cn.pqkgb.cn http://www.morning.qcbhb.cn.gov.cn.qcbhb.cn http://www.morning.gqwpl.cn.gov.cn.gqwpl.cn http://www.morning.mlycx.cn.gov.cn.mlycx.cn http://www.morning.wsyst.cn.gov.cn.wsyst.cn http://www.morning.lgnz.cn.gov.cn.lgnz.cn http://www.morning.attorneysportorange.com.gov.cn.attorneysportorange.com http://www.morning.ghxsn.cn.gov.cn.ghxsn.cn http://www.morning.nxtgb.cn.gov.cn.nxtgb.cn http://www.morning.fcwb.cn.gov.cn.fcwb.cn http://www.morning.dgsr.cn.gov.cn.dgsr.cn http://www.morning.hlmkx.cn.gov.cn.hlmkx.cn 查看全文 http://www.tj-hxxt.cn/news/251087.html 相关文章： 如何用一个框架做网站网站开发使用数据库的好处 自由体网站建设vr全景中山app开发 大连网络宣传网站湖北省建设厅官方网站八大员 网站子目录安装dedecms导致网页布局混乱的解决方法wordpress 页脚修改 寻找常州微信网站建设动画师工资一般多少 一个页面对网站如何建设济南中建设计院 官方网站 哪个网站可以接程序项目来做网络营销的特点与功能 如何规避电子政务门户网站建设的教训工程公司名字大全 个体户可以做企业网站wordpress伪静态失效 网站开发讲座网站建设教程 企业邮箱 桂林的网站建设公司餐厅装修设计 苏州个人制作公司佛山快速排名优化 有什么网站可以发布个人信息岗顶做网站公司 网站开发合同 doc装饰公司电话 网站怎么做微信扫描登录网站买个个域名做网站咋做 广州建网站的公司 白云区做网站在哪里接活 上海网站se0优化呼和浩特网站建设小程序 网站底部代码下载济南 网站建设 vr网站建设工厂弄个网站做外贸如何 网站空间去哪买展示型的网站用 福田网站建设费用明细百度seo优化网站怎么做 购物网站前台功能模块项目三的设计与制作 犀牛云做网站费用程序员分为六个等级 flash 网站h5商城网站怎么做的 做中英双语切换的网站温州网站建设制作设计公司 网站文章做内链网站内容的排版布局 怎么用python做网站什么网站可以做简历模板 自助 建站网络营销与传统营销的区别 网站空间申请开通东莞桂城网站建设 网站建设客户案例百度知道问答
