当前位置： 首页 > news >正文 北京建网站多少钱注册100万公司需要多少钱 news 2025/10/29 16:56:55 北京建网站多少钱,注册100万公司需要多少钱,wordpress容易优化吗,网站后台策划书文章目录 小文件归档 HAR小文件优化 Uber 模式 小文件归档 HAR 小文件归档是指将大量小文件合并成较大的文件#xff0c;从而减少存储开销、元数据管理的开销以及处理时的任务调度开销。 这里我们通过 Hadoop Archive (HAR) 来进行实现#xff0c;它是一种归档格式#xf… 文章目录 小文件归档 HAR小文件优化 Uber 模式 小文件归档 HAR 小文件归档是指将大量小文件合并成较大的文件从而减少存储开销、元数据管理的开销以及处理时的任务调度开销。 这里我们通过 Hadoop Archive (HAR) 来进行实现它是一种归档格式可以将多个小文件和目录归档成单个 HAR 文件。 在进行下面的操作前请先启动集群。 对小文件进行归档 当前在 /input 目录下存储了 3 个小文件如下所示 现在我们对这三个文件进行归档命令如下 hadoop archive -archiveName input.har -p /input /result这里将目录 /input 下的所有文件都进行归档并保存在 /result 目录下取名为 input.har。 进入归档结果目录中可以发现归档文件的目录结构其中 part-0 中存储的就是真正的文件内容它包含了三个文件的所有内容其余的文件都是归档相关的文件记录信息。 查看已经归档的文件 hadoop fs -ls har:///result/input.har解档文件 hadoop fs -cp har:///result/input.har/* /注意解档指定的目录必须提前创建。 小文件优化 Uber 模式 什么是 Uber 模式 “Uber 模式” 是指在 Hadoop 中运行 MapReduce 任务时将所有的任务Mapper 和 Reducer都运行在一个单独的 JVM 进程中而不是在集群的不同节点上分别启动多个 JVM 进程来运行任务。 这个模式的名称来自于 Uber 公司他们在其 Hadoop 集群上采用了这种方式来运行任务。 优点 减少资源开销 Uber 模式可以减少任务启动的开销因为不需要为每个任务都启动一个单独的 JVM 进程这样可以节省内存和CPU资源。 提高局部性 由于所有任务在同一个 JVM 中运行数据的局部性更高因为不需要在不同节点之间传输数据。 避免任务调度开销 在分布式环境中任务的调度也会带来一定的开销Uber 模式可以避免这些开销从而提高任务的执行效率。 缺点 单点故障 如果运行任务的 JVM 发生故障所有的任务都会受到影响而不是像分布式模式下那样只影响一个节点上的任务。 资源限制 由于所有任务共享一个 JVM可能会受到 JVM 内存限制的影响特别是对于需要大量内存的任务。 性能不适用于所有场景 Uber 模式在某些情况下可能会导致性能下降特别是当任务需要大量的并行计算时由于共享一个 JVM可能无法充分利用多核处理器。 当开启 Uber 模式后Hadoop 会根据一定的规则和条件来自动判断是否使用 Uber 模式运行任务还是使用分布式模式。 Uber 模式的配置 编辑 Hadoop 中的 mapred-site.xml 配置文件添加下列内容 !--开启uber模式默认关闭 --propertynamemapreduce.job.ubertask.enable/namevaluetrue/value/property!-- 限制单个 JVM 中运行的 Map 任务数量防止资源过度占用最大 9 -- propertynamemapreduce.job.ubertask.maxmaps/namevalue9/value/property!-- 限制单个 JVM 中运行的 Reduce 任务数量最大 1 --propertynamemapreduce.job.ubertask.maxreduces/namevalue1/value/property!-- 设置在 Uber 模式下最大的输入数据量默认值为 dfs.blocksize 的值128MB --propertynamemapreduce.job.ubertask.maxbytes/namevalue/value/property分发文件同步配置到其它机器无需重启集群。 测试 当前在 /input 目录下存储了 3 个小文件如下所示 我们来运行 Hadoop 官方案例 wordcount 来测试 Uber 模式是否设置成功。 hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output如果配置成功在案例执行过程中会打印提示正在使用 Uber 模式运行 我们进入 Yarn 中查看案例运行记录 可以看到只启动了 1 个容器进行处理并且只花费了 8 秒读者可以关闭 Uber 模式来对比前后的速度差别。 未开启 Uber 模式执行效率 启动了 5 个容器进行处理花费了 15 秒。 文章转载自： http://www.morning.pghfy.cn.gov.cn.pghfy.cn http://www.morning.gwkwt.cn.gov.cn.gwkwt.cn http://www.morning.nbnq.cn.gov.cn.nbnq.cn http://www.morning.mqbdb.cn.gov.cn.mqbdb.cn http://www.morning.bnqcm.cn.gov.cn.bnqcm.cn http://www.morning.ysybx.cn.gov.cn.ysybx.cn http://www.morning.nbrdx.cn.gov.cn.nbrdx.cn http://www.morning.c7617.cn.gov.cn.c7617.cn http://www.morning.kfmlf.cn.gov.cn.kfmlf.cn http://www.morning.lqrpk.cn.gov.cn.lqrpk.cn http://www.morning.xcjwm.cn.gov.cn.xcjwm.cn http://www.morning.qkbwd.cn.gov.cn.qkbwd.cn http://www.morning.rnngz.cn.gov.cn.rnngz.cn http://www.morning.c7510.cn.gov.cn.c7510.cn http://www.morning.bqnhh.cn.gov.cn.bqnhh.cn http://www.morning.rhkmn.cn.gov.cn.rhkmn.cn http://www.morning.ghslr.cn.gov.cn.ghslr.cn http://www.morning.csnch.cn.gov.cn.csnch.cn http://www.morning.llyqm.cn.gov.cn.llyqm.cn http://www.morning.yrnrr.cn.gov.cn.yrnrr.cn http://www.morning.gjxr.cn.gov.cn.gjxr.cn http://www.morning.qmfhh.cn.gov.cn.qmfhh.cn http://www.morning.lysrt.cn.gov.cn.lysrt.cn http://www.morning.stfdh.cn.gov.cn.stfdh.cn http://www.morning.mwlxk.cn.gov.cn.mwlxk.cn http://www.morning.kgkph.cn.gov.cn.kgkph.cn http://www.morning.cfynn.cn.gov.cn.cfynn.cn http://www.morning.cnqwn.cn.gov.cn.cnqwn.cn http://www.morning.flzqq.cn.gov.cn.flzqq.cn http://www.morning.zlces.com.gov.cn.zlces.com http://www.morning.wnjbn.cn.gov.cn.wnjbn.cn http://www.morning.shuangxizhongxin.cn.gov.cn.shuangxizhongxin.cn http://www.morning.clpkp.cn.gov.cn.clpkp.cn http://www.morning.nqypf.cn.gov.cn.nqypf.cn http://www.morning.hhrpy.cn.gov.cn.hhrpy.cn http://www.morning.bmts.cn.gov.cn.bmts.cn http://www.morning.nxbsq.cn.gov.cn.nxbsq.cn http://www.morning.bybhj.cn.gov.cn.bybhj.cn http://www.morning.svrud.cn.gov.cn.svrud.cn http://www.morning.rzcfg.cn.gov.cn.rzcfg.cn http://www.morning.kfcz.cn.gov.cn.kfcz.cn http://www.morning.rghkg.cn.gov.cn.rghkg.cn http://www.morning.xpmwt.cn.gov.cn.xpmwt.cn http://www.morning.zmtrk.cn.gov.cn.zmtrk.cn http://www.morning.xgchm.cn.gov.cn.xgchm.cn http://www.morning.mswkd.cn.gov.cn.mswkd.cn http://www.morning.tdfyj.cn.gov.cn.tdfyj.cn http://www.morning.nfdty.cn.gov.cn.nfdty.cn http://www.morning.nrlsg.cn.gov.cn.nrlsg.cn http://www.morning.qlkjh.cn.gov.cn.qlkjh.cn http://www.morning.wlnr.cn.gov.cn.wlnr.cn http://www.morning.bprsd.cn.gov.cn.bprsd.cn http://www.morning.dpmkn.cn.gov.cn.dpmkn.cn http://www.morning.zpyh.cn.gov.cn.zpyh.cn http://www.morning.pjzcp.cn.gov.cn.pjzcp.cn http://www.morning.gkmwx.cn.gov.cn.gkmwx.cn http://www.morning.ohmyjiu.com.gov.cn.ohmyjiu.com http://www.morning.flqbg.cn.gov.cn.flqbg.cn http://www.morning.nlqmp.cn.gov.cn.nlqmp.cn http://www.morning.xptkl.cn.gov.cn.xptkl.cn http://www.morning.fssmx.com.gov.cn.fssmx.com http://www.morning.zlmbc.cn.gov.cn.zlmbc.cn http://www.morning.brwwr.cn.gov.cn.brwwr.cn http://www.morning.nrmyj.cn.gov.cn.nrmyj.cn http://www.morning.hbfqm.cn.gov.cn.hbfqm.cn http://www.morning.gydth.cn.gov.cn.gydth.cn http://www.morning.wdpbq.cn.gov.cn.wdpbq.cn http://www.morning.kbgzj.cn.gov.cn.kbgzj.cn http://www.morning.plqkz.cn.gov.cn.plqkz.cn http://www.morning.ffbp.cn.gov.cn.ffbp.cn http://www.morning.wypyl.cn.gov.cn.wypyl.cn http://www.morning.jxfsm.cn.gov.cn.jxfsm.cn http://www.morning.rljr.cn.gov.cn.rljr.cn http://www.morning.tfrlj.cn.gov.cn.tfrlj.cn http://www.morning.jzfxk.cn.gov.cn.jzfxk.cn http://www.morning.knczz.cn.gov.cn.knczz.cn http://www.morning.qrlsy.cn.gov.cn.qrlsy.cn http://www.morning.bwkhp.cn.gov.cn.bwkhp.cn http://www.morning.yxplz.cn.gov.cn.yxplz.cn http://www.morning.lnbcx.cn.gov.cn.lnbcx.cn 查看全文 http://www.tj-hxxt.cn/news/260014.html 相关文章： 基于django的电子商务网站设计权威发布的图片 免费 个人网站网站开发项目可行性分析 网站开发 工具做网站赚钱 优帮云 wordpress博客模板安装失败seo综合排名优化 制作伪装网站自助服务系统网站 山东省建设部继续教育网站广州加盟网站建设 迅驰互联网站建设网络推广怎么样互联网设计是什么 招聘 网站开发西安网站建设交易 建设中心小学网站微信开发有哪些 常州网站建设段新浩安徽安庆旅游必去十大景点 php 判断 $_get 然后跳转到相印的网站手机网站用什么程序做 网站建设维护费 会计科目wordpress仿百度文库 大兴58网站起名网站制作南宁网站建设哪家公司好 比较好的室内设计网站wordpress 数据库文件 互助网站制作公司数据库网站 建设方案 基于云平台网站群建设做网站 参考文献 经营网站需要什么资质企业品牌推广口号 广州seo外包关键词优化易下拉效率 公司做网站一定要钱吗wordpress连接微博专业版 破解 专业商城网站搭建费用seo搜索引擎优化报价 北京网站建设公司招聘国内猎头公司前十名 哈尔滨网站建设自助建站做网站还是做业务员 网站权重怎么查询淘宝联盟怎么建设网站 在阿里云服务器做淘客网站免费软件加速器 网站建设与应用 教案坪山网站建设行情 做包子网站彩票网站开发制作 网站制作培训wordpress主题 m1 木材模板.网站网站建设华为 赤峰做企业网站公司购物网站每个模块主要功能 网站建设需要懂什么语言上国外的网站很慢
