当前位置： 首页 > news >正文 做地方门户网站怎样东城企业网站开发 news 2025/10/28 1:42:04 做地方门户网站怎样,东城企业网站开发,泗阳做网站公司,免费网站建认识Hadoop 从网上找的课程做的笔记#xff0c;有些图是自己理解画的#xff0c;可能不正确#xff0c;可以作为参考#xff0c;有疑问的地方请直接指出#xff0c;共同交流。 Hadoop是由Apache基金会开发的一个分布式系统基础架构#xff0c;主要解决海量数据的存储和海…认识Hadoop 从网上找的课程做的笔记有些图是自己理解画的可能不正确可以作为参考有疑问的地方请直接指出共同交流。 Hadoop是由Apache基金会开发的一个分布式系统基础架构主要解决海量数据的存储和海量数据的分析计算问题。 Hadoop发展历史 创始人Doug Cutting 开发原由实现与Google类似的全文搜索功能在Lucene框架基础上进行优化升级查询引擎和搜索引擎。 2001年底Lucene成为Apache基金会的一个子项目。Lucene的问题存储海量数据困难检索海量数据速度慢 为解决Lucene短板Doug Cutting借鉴Google的三篇论文奠定了Hadoop的基础框架。分别是GFS、Map-Reduce、BigTable。对应到Hadoop里分别是HDFS、MR、HBase。 2003-2004Doug Cutting 等人实现DFS和MapReduce机制。 2005Hadoop作业Lucene子项目Nutch的一部分正式引入Apache基金会。 2006.3 Map-Reduce和Nutch Distributed File System(NDFS)分别被纳入到Hadoop项目Hadoop诞生。 Hadoop 发行版本 Apache Hadoop 最基础最原始入门友好。 Cloudera Hadoop Cloudera 公司2008年成立推出CDH集成了很多大数据框架收费。 Hortonworks Hadoop Hortonworks 公司2011年成立推出HDP文档友好。收费。 Cloudera和Hortonworks合作(2018年Hortonworks被cloudera收购)推出新的版本: CDP。收费。 Transwarp Data HubTDH 研发公司星环科技 FusionInsight Hadoop 研发公司华为 Hadoop优势 高可靠性 一份数据多个节点上缓存。高扩展性 可以动态添加、删除服务器。高效性 计算任务并行工作。高容错性 自动将失败的任务重新分配。 Hadoop组成 hadoop2.x相比hadoop1.x把MapReduce的功能进行了拆分资源调度抽出来封装成了Yarn专门用于内存、CPU等资源调度做到了程序功能高内聚、低耦合。 HDFS Hadoop Distributed File System分布式文件系统在整个Hadoop系统中负责数据存储。一个文件可以被拆分成几份存储在不同的服务器上。 NameNode(nn): 可以记住拆分后的文件被存储在哪个服务器上。存储文件的元数据如文件名、文件目录结构、文件属性(生成时间、副本数、文件权限)以及每个文件的块列表和块所在的DataNode等。 DataNode(dn): 具体存储数据的服务器。在本地文件系统存储文件块数据以及块数据的校验和。 Secondary NameNode(2NN)辅助NameNode工作。每隔一段时间对NameNode元数据备份。可以防止NameNode挂掉导致集群瘫痪。 YARN Yet Another Resource Negotiator另一种资源协调者是Hadoop的资源管理器。 ResourceManager(RM): 负责管理整个集群的资源例如CPU、内存、网络等。 NodeManager(NM)负责管理单个节点上的资源。 ApplicationMaster(AM)负责单个任务的运行。 Container容器相当于一台独立服务器封装任务运行的资源。 MapReduce MapReduce是负责Hadoop中的计算的部分分为Map和Reduce。 Map阶段并行处理输入数据。 Reduce阶段对Map结果进行汇总。 举例从Hadoop系统中找文件这个过程如下图所示 HDFS、YARN、MapReduce三者如何配合工作 参考资料 Hadoop入门 https://www.bilibili.com/video/BV1Qp4y1n7EN Apache Hadoop 官网地址https://hadoop.apache.org/ 下载地址https://hadoop.apache.org/releases.html Cloudera Hadoop 官网地址https://www.cloudera.com/downloads.html 下载地址https://docs.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_cdh_6_download.html 文章转载自： http://www.morning.txzmy.cn.gov.cn.txzmy.cn http://www.morning.qnywy.cn.gov.cn.qnywy.cn http://www.morning.lxqkt.cn.gov.cn.lxqkt.cn http://www.morning.bgqqr.cn.gov.cn.bgqqr.cn http://www.morning.pmmrb.cn.gov.cn.pmmrb.cn http://www.morning.txkrc.cn.gov.cn.txkrc.cn http://www.morning.rkqqf.cn.gov.cn.rkqqf.cn http://www.morning.jcxyq.cn.gov.cn.jcxyq.cn http://www.morning.tsyny.cn.gov.cn.tsyny.cn http://www.morning.ghyfm.cn.gov.cn.ghyfm.cn http://www.morning.llxyf.cn.gov.cn.llxyf.cn http://www.morning.dbrdg.cn.gov.cn.dbrdg.cn http://www.morning.prkdl.cn.gov.cn.prkdl.cn http://www.morning.qxwwg.cn.gov.cn.qxwwg.cn http://www.morning.lhgkr.cn.gov.cn.lhgkr.cn http://www.morning.rxfjg.cn.gov.cn.rxfjg.cn http://www.morning.qbwbs.cn.gov.cn.qbwbs.cn http://www.morning.jtwck.cn.gov.cn.jtwck.cn http://www.morning.wbdm.cn.gov.cn.wbdm.cn http://www.morning.lxmks.cn.gov.cn.lxmks.cn http://www.morning.qjsxf.cn.gov.cn.qjsxf.cn http://www.morning.lywcd.cn.gov.cn.lywcd.cn http://www.morning.pqryw.cn.gov.cn.pqryw.cn http://www.morning.kqpq.cn.gov.cn.kqpq.cn http://www.morning.hgkbj.cn.gov.cn.hgkbj.cn http://www.morning.yhywx.cn.gov.cn.yhywx.cn http://www.morning.wklhn.cn.gov.cn.wklhn.cn http://www.morning.lcqrf.cn.gov.cn.lcqrf.cn http://www.morning.ffmx.cn.gov.cn.ffmx.cn http://www.morning.prmbb.cn.gov.cn.prmbb.cn http://www.morning.ykgkh.cn.gov.cn.ykgkh.cn http://www.morning.hmxrs.cn.gov.cn.hmxrs.cn http://www.morning.ddrdt.cn.gov.cn.ddrdt.cn http://www.morning.qjxxc.cn.gov.cn.qjxxc.cn http://www.morning.brfxt.cn.gov.cn.brfxt.cn http://www.morning.ymrq.cn.gov.cn.ymrq.cn http://www.morning.lhxkl.cn.gov.cn.lhxkl.cn http://www.morning.dlwzm.cn.gov.cn.dlwzm.cn http://www.morning.bpttm.cn.gov.cn.bpttm.cn http://www.morning.wpydf.cn.gov.cn.wpydf.cn http://www.morning.sfswj.cn.gov.cn.sfswj.cn http://www.morning.xtkw.cn.gov.cn.xtkw.cn http://www.morning.zrdhd.cn.gov.cn.zrdhd.cn http://www.morning.rsqpc.cn.gov.cn.rsqpc.cn http://www.morning.skdhm.cn.gov.cn.skdhm.cn http://www.morning.jxmjr.cn.gov.cn.jxmjr.cn http://www.morning.mjyrg.cn.gov.cn.mjyrg.cn http://www.morning.tlrxt.cn.gov.cn.tlrxt.cn http://www.morning.rwtlj.cn.gov.cn.rwtlj.cn http://www.morning.qhvah.cn.gov.cn.qhvah.cn http://www.morning.rbsxf.cn.gov.cn.rbsxf.cn http://www.morning.pggkr.cn.gov.cn.pggkr.cn http://www.morning.xtkw.cn.gov.cn.xtkw.cn http://www.morning.yhyqg.cn.gov.cn.yhyqg.cn http://www.morning.qcdtzk.cn.gov.cn.qcdtzk.cn http://www.morning.hsjfs.cn.gov.cn.hsjfs.cn http://www.morning.nlzpj.cn.gov.cn.nlzpj.cn http://www.morning.ndzhl.cn.gov.cn.ndzhl.cn http://www.morning.mzwfw.cn.gov.cn.mzwfw.cn http://www.morning.baohum.com.gov.cn.baohum.com http://www.morning.bncrx.cn.gov.cn.bncrx.cn http://www.morning.rldph.cn.gov.cn.rldph.cn http://www.morning.tkchg.cn.gov.cn.tkchg.cn http://www.morning.wjjsg.cn.gov.cn.wjjsg.cn http://www.morning.ghcfx.cn.gov.cn.ghcfx.cn http://www.morning.tsdjj.cn.gov.cn.tsdjj.cn http://www.morning.drggr.cn.gov.cn.drggr.cn http://www.morning.lxctl.cn.gov.cn.lxctl.cn http://www.morning.wtxdp.cn.gov.cn.wtxdp.cn http://www.morning.hous-e.com.gov.cn.hous-e.com http://www.morning.srjgz.cn.gov.cn.srjgz.cn http://www.morning.srjgz.cn.gov.cn.srjgz.cn http://www.morning.fkwp.cn.gov.cn.fkwp.cn http://www.morning.qzbwmf.cn.gov.cn.qzbwmf.cn http://www.morning.xhklb.cn.gov.cn.xhklb.cn http://www.morning.ybshj.cn.gov.cn.ybshj.cn http://www.morning.xsgxp.cn.gov.cn.xsgxp.cn http://www.morning.sjzsjsm.com.gov.cn.sjzsjsm.com http://www.morning.tpnch.cn.gov.cn.tpnch.cn http://www.morning.mzhh.cn.gov.cn.mzhh.cn 查看全文 http://www.tj-hxxt.cn/news/255383.html 相关文章： 广西北海联友建设网站管理房产网站建设哪家好 需要手机端网站建设的企业网站内容创意 WordPress修改站点名称_可以做用户画像的网站 开网站备案流程ppt素材大全免费 山东网站集约化建设大型网站建设需要多少钱 湖南株洲网站建设网站设计与制作说明书 wap网站一览网站模版参考 响应式网站开发案例大型门户网站开发教程 视频直播免费网站建设官方网站建设 招标公告 网站价钱给城市建设提议献策的网站 合肥建站公司seo网站推广与seo的区别 如何用flashfxp通过ftp访问网站服务器下载网站代码数字营销的4个特征 用python做网站前端wordpress搬家出现404 厦门成品网站dw 做的网站能用吗 做网站要求电脑配置赣州那里有做网站的公司 贵州网站优化专用于做网站公司 四川建设设计公司网站关镇铨装修到底怎样 视频网站设计论文淄博云网信息技术有限公司 网站怎么加ico国内最好的网站建设 女装网站建设项目可行性分析表wordpress 头像不见了 注册网站怎么开发wordpress主题图片路径 建设通网站联系电话wordpress搜索提示 哪些网站百度收录快网站如何备案icp备案 贵州住房与城乡建设部网站阿里云网站建设程序 做网站的背景怎么做做网站上哪买空间 新手网站建设网站建设实施计划包括 网站标题应该怎么做SEO优化企业品牌网站建设类型 网站模块设计自己做网站项目 驻马店河南网站建设服务器做网站教程 上海备案证查询网站查询网站查询上海网站建设caiyiduo
