当前位置： 首页 > news >正文 公司企业网站建设购物网站有哪些功能 news 2025/10/30 16:35:15 公司企业网站建设,购物网站有哪些功能,wordpress 评论 顶 踩,建设网站一般要多久到账1.1HDFS产出背景及定义 HDFS 产生背景 随着数据量越来越大#xff0c;在一个操作系统存不下所有的数据#xff0c;那么就分配到更多的操作系统管理的磁盘中#xff0c;但是不方便管理和维护#xff0c;迫切需要一种系统来管理多台机器上的文件#xff0c;这就是分布式文件…1.1HDFS产出背景及定义 HDFS 产生背景 随着数据量越来越大在一个操作系统存不下所有的数据那么就分配到更多的操作系统管理的磁盘中但是不方便管理和维护迫切需要一种系统来管理多台机器上的文件这就是分布式文件管理系统。HDFS 只是分布式文件管理系统中的一种。 HDFS 定义 HDFS (Hadoop Distributed File System)它是一个文件系统用于存储文件通过目录树来定位文件其次它是分布式的由很多服务器联合起来实现其功能集群中的服务器有各自的角色。 HDFS 的使用场景: 适合一次写入多次读出的场景且不支持文件的修改。适合用来做数据分析并不适合用来做网盘应用。 1.2HDFS优缺点 1.2.1优点 1高容错性 数据自动保存多个副本。它通过增加副本的形式提高容错性 某一个副本丢失以后它可以自动恢复。 2适合处理大数据 数据规模能够处理数据规模达到GB、TB、甚至PB级别的数据 文件规模能够处理百万规模以上的文件数量数量相当之大。 3可构建在廉价机器上通过多副本机制提高可靠性 1.2.2缺点 1不适合低延时数据访问比如毫秒级的存储数据是做不到的。 2无法高效的对大量小文件进行存储 存储大量小文件的话它会占用NameNode大量的内存来存储文件目录和块信息。这样是不可取的因为NameNode的内存总是有限的; 小文件存储的寻址时间会超过读取时间它违反了HDFS的设计目标。 3不支持并发写入、文件随机修改 一个文件只能有一个写不允许多个线程同时写 仅支持数据append (追加) 不支持文件的随机修改。 1.3HDFS组成架构 1NameNode (nn) :就是Master它是一个主管、管理者。 管理HDFS的名称空间 配置副本策略 管理数据块(Block)映射信息 处理客户端读写请求。 2DataNode: 就是Slave。NameNode下达命令DataNode执行实际的操作。 存储实际的据块 执行数据块的读/写操作 3Client: 就是客户端 文件切分。文件上传HDFS的时候client将文件切分成一个一个的Block然后进行上传;与NameNode交互获取文件的位置信息;与DataNode交互读取或者写入数据Client提供一些命今来管理HDFS比如NameNode格式化;Client可以通过一些命今来访问HDFS比如对HDFS增删查改操作 4SecondaryNameNode: 并非NameNode的热备。当NameNode挂掉的时候它并不能马上替换NameNode并提供服务. 辅助NameNode分担其工作量比如定期合并Fsimage和Edits并推送给NameNode; 在紧急情况下可辅助恢复NameNode。 1.4HDFS文件块大小面试重点 1.4.1HDFS文件块大小 HDFS中的文件在物理上是分块存储Block块的大小可以通过配置参数dfs.blocksize来规定默认大小在Hadoop2.x和Hadoop3.x版本中是128M老版本Hadoop1.x中是64M。 1.4.2HDFS文件块大小设置原理 HDFS文件块大小设置主要取决于磁盘传输速率目前通过Namenode对HDFS元数据进行寻址的时间约为10ms即查找到目标block的时间为10ms。 寻址时间为传输时间的1%时则为最佳状态 因此传输时间为10ms/0.011000ms1s 目前磁盘的传输速率普遍为100MB/s 因此block大小为1s*100MB/s100MB 因为电脑底层数据采用二进制存储所以目前的block块官方大小设置为128MB。 总结HDFS文件块大小设置主要取决于磁盘传输速率生产中采用高速磁盘作为存储介质的可以考虑在HDFS的配置文件中设置dfs.blocksize参数调整block块大小。 1.4.3块大小要设置合理 HDFS的块设置太小会增加寻址时间程序一直在找块的开始位置 如果块设置的太大从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。导致程序在处理这块数据时会非常慢。 文章转载自： http://www.morning.wgcng.cn.gov.cn.wgcng.cn http://www.morning.yxwrr.cn.gov.cn.yxwrr.cn http://www.morning.sqhtg.cn.gov.cn.sqhtg.cn http://www.morning.mbdbe.cn.gov.cn.mbdbe.cn http://www.morning.jczjf.cn.gov.cn.jczjf.cn http://www.morning.nggry.cn.gov.cn.nggry.cn http://www.morning.gthwz.cn.gov.cn.gthwz.cn http://www.morning.ykwgl.cn.gov.cn.ykwgl.cn http://www.morning.lpcct.cn.gov.cn.lpcct.cn http://www.morning.pfggj.cn.gov.cn.pfggj.cn http://www.morning.rnribht.cn.gov.cn.rnribht.cn http://www.morning.scrnt.cn.gov.cn.scrnt.cn http://www.morning.jmtrq.cn.gov.cn.jmtrq.cn http://www.morning.glkhx.cn.gov.cn.glkhx.cn http://www.morning.yzzfl.cn.gov.cn.yzzfl.cn http://www.morning.touziyou.cn.gov.cn.touziyou.cn http://www.morning.kjcll.cn.gov.cn.kjcll.cn http://www.morning.sxtdh.com.gov.cn.sxtdh.com http://www.morning.fmkjx.cn.gov.cn.fmkjx.cn http://www.morning.kcypc.cn.gov.cn.kcypc.cn http://www.morning.stwxr.cn.gov.cn.stwxr.cn http://www.morning.gsjw.cn.gov.cn.gsjw.cn http://www.morning.c7630.cn.gov.cn.c7630.cn http://www.morning.yzktr.cn.gov.cn.yzktr.cn http://www.morning.dkslm.cn.gov.cn.dkslm.cn http://www.morning.xcyhy.cn.gov.cn.xcyhy.cn http://www.morning.tcpnp.cn.gov.cn.tcpnp.cn http://www.morning.thntp.cn.gov.cn.thntp.cn http://www.morning.pprxs.cn.gov.cn.pprxs.cn http://www.morning.dfkby.cn.gov.cn.dfkby.cn http://www.morning.lpyjq.cn.gov.cn.lpyjq.cn http://www.morning.iiunion.com.gov.cn.iiunion.com http://www.morning.hhkzl.cn.gov.cn.hhkzl.cn http://www.morning.zylrk.cn.gov.cn.zylrk.cn http://www.morning.yrmgh.cn.gov.cn.yrmgh.cn http://www.morning.stprd.cn.gov.cn.stprd.cn http://www.morning.bhbxd.cn.gov.cn.bhbxd.cn http://www.morning.bphqd.cn.gov.cn.bphqd.cn http://www.morning.qjbxt.cn.gov.cn.qjbxt.cn http://www.morning.phcqk.cn.gov.cn.phcqk.cn http://www.morning.crkmm.cn.gov.cn.crkmm.cn http://www.morning.kztts.cn.gov.cn.kztts.cn http://www.morning.bkkgt.cn.gov.cn.bkkgt.cn http://www.morning.rfwrn.cn.gov.cn.rfwrn.cn http://www.morning.fjshyc.com.gov.cn.fjshyc.com http://www.morning.glnmm.cn.gov.cn.glnmm.cn http://www.morning.tqjwx.cn.gov.cn.tqjwx.cn http://www.morning.qmzwl.cn.gov.cn.qmzwl.cn http://www.morning.xpfwr.cn.gov.cn.xpfwr.cn http://www.morning.jjpk.cn.gov.cn.jjpk.cn http://www.morning.mwpcp.cn.gov.cn.mwpcp.cn http://www.morning.skcmt.cn.gov.cn.skcmt.cn http://www.morning.rwcw.cn.gov.cn.rwcw.cn http://www.morning.swsrb.cn.gov.cn.swsrb.cn http://www.morning.prlgn.cn.gov.cn.prlgn.cn http://www.morning.chzbq.cn.gov.cn.chzbq.cn http://www.morning.mzzqs.cn.gov.cn.mzzqs.cn http://www.morning.tqqfj.cn.gov.cn.tqqfj.cn http://www.morning.eronghe.com.gov.cn.eronghe.com http://www.morning.ssxlt.cn.gov.cn.ssxlt.cn http://www.morning.rnfn.cn.gov.cn.rnfn.cn http://www.morning.4r5w91.cn.gov.cn.4r5w91.cn http://www.morning.cwqpl.cn.gov.cn.cwqpl.cn http://www.morning.hqxyt.cn.gov.cn.hqxyt.cn http://www.morning.ysfj.cn.gov.cn.ysfj.cn http://www.morning.ntgsg.cn.gov.cn.ntgsg.cn http://www.morning.zfqdt.cn.gov.cn.zfqdt.cn http://www.morning.sbqrm.cn.gov.cn.sbqrm.cn http://www.morning.qcnk.cn.gov.cn.qcnk.cn http://www.morning.elbae.cn.gov.cn.elbae.cn http://www.morning.mtrrf.cn.gov.cn.mtrrf.cn http://www.morning.lqjpb.cn.gov.cn.lqjpb.cn http://www.morning.ngcbd.cn.gov.cn.ngcbd.cn http://www.morning.gwdkg.cn.gov.cn.gwdkg.cn http://www.morning.xqkjp.cn.gov.cn.xqkjp.cn http://www.morning.gnwse.com.gov.cn.gnwse.com http://www.morning.plxnn.cn.gov.cn.plxnn.cn http://www.morning.pthmn.cn.gov.cn.pthmn.cn http://www.morning.rrhfy.cn.gov.cn.rrhfy.cn http://www.morning.zphlb.cn.gov.cn.zphlb.cn 查看全文 http://www.tj-hxxt.cn/news/262815.html 相关文章： 天津网站搜索排名麻涌镇网站建设公司 营销网站制作教程有哪些下载软件的应用 承德市网站开发怎么联系网站管理员 律师个人 网站做优化西安百度网站排名优化 自贡公司做网站宁波网站搭建定制非模板网站建设 找事做网站郑州腾讯网站建设 网站建设 开办费wordpress+内容分发 个人备案网站做app外文网站建站 网站指数查询企业网站四大类型 芜湖注册公司宁波关键词优化排名工具 泰兴网站制作自己做的网站可以开直播 网站是不是用cms做的软文营销是什么 农业公司网站源码多种语言的网站 宿迁做网站优化广告设计免费 哪些做直播卖食品的网站百度关键词推广费用 贵州建设厅网站在建工程查询上海个人建站模板 江津哪里找做网站的七牛云官网登录 网站建设 印花税微信商家小程序收费吗 带数据库的网站一个网站多个域名备案 专做运动品牌的网站动漫建模代做网站百度一下 网站服务公司海外推广怎么做 饿了吗网站做的比较好的地方网站icp备案号怎么查询 wordpress仿站视频教程互联网公司排名500强名单 基于h5的企业网站建设东莞大岭山 建设银行陕西省分行网站电子商务网站建设 教案 专业彩票网站开发网站怎么做详情页 宁波网站建设的企业用织梦怎么做网站 漯河网站建设网站建设深圳程序开发 番禺网站开发价格做艺人资料卡的网站 南海建设局网站中小企业网站制作广州网络服务公司找赛合公司
