当前位置： 首页 > news >正文 河源建设工程交易中心网站什么是响应式网站设计 news 2025/10/24 16:31:34 河源建设工程交易中心网站,什么是响应式网站设计,免费的黄冈网站代码,昆明网站建设方案外包Spark on YARN运行过程 YARN是一种统一资源管理机制#xff0c;在其上面可以运行多套计算框架。目前的大数据技术世界#xff0c;大多数公司除了使用Spark来进行数据计算#xff0c;由于历史原因或者单方面业务处理的性能考虑而使用着其他的计算框架#xff0c;比如MapRed…Spark on YARN运行过程 YARN是一种统一资源管理机制在其上面可以运行多套计算框架。目前的大数据技术世界大多数公司除了使用Spark来进行数据计算由于历史原因或者单方面业务处理的性能考虑而使用着其他的计算框架比如MapReduce、storm等计算框架。Spark基于此种情况开发了Spark on YARN的运行模式由于借助了YARN良好的弹性资源管理机制不仅部署Application更加方便而且用户在YARN集群中运行的服务和Application的资源也完全隔离更具实践应用价值的是YARN可以通过队列的方式管理同时运行在集群中的多个服务。 Spark on YARN模式根据Driver在集群中的位置分为两种模式一种是YARN-Client模式另一种是YARN-Cluster。 YARN-Client 简单版本 1、在客户端执行提交命令在本地启动一个Drive进程. 2、Drive进程启动完毕后会向ResourceManager申请启动一个ApplicationMaster. 3、RM 收到请求随机选择一台 NodeManager 启动 ApplicationMaster. 4、AM启动后会向RM请求一批Container资源用于启动Executor. 5、RM会找到一批NM返回给AMAM会向NM发送命令启动Executor. 6、Executor启动后会反向注册给DriverDriver发送Task到Executor. 详细版本 YARN-Client模式中Driver在客户端本地运行这种模式可以使得Spark Application和客户端进行交互因为Driver在客户端所以可以通过webUI访问Driver的状态默认是http://hadoop1:4040访问而YARN通过http:// hadoop1:8088访问。 YARN-Client的工作流程分为以下几个步骤 1.Spark YARN Client向YARN的ResourceManager申请启动ApplicationMaster。同时在SparkContent初始化中将创建DAGScheduler和TaskScheduler等由于我们选择的是YARN-Client模式程序会选择 YARNClientClusterScheduler和YARNClientSchedulerBackend 2.ResourceManager收到请求后在集群中选择一个NodeManager为该应用程序分配第一个Container要求它在这个Container中启动应用程序的ApplicationMaster与YARN-Cluster区别的是在该ApplicationMaster不运行SparkContext只与SparkContext进行联系进行资源的分派 3.Client中的SparkContext初始化完毕后与ApplicationMaster建立通讯向ResourceManager注册根据任务信息向ResourceManager申请资源Container 4.一旦ApplicationMaster申请到资源也就是Container后便与对应的NodeManager通信要求它在获得的Container中启动 CoarseGrainedExecutorBackendCoarseGrainedExecutorBackend启动后会向Client中的SparkContext注册并申请Task 5.Client中的SparkContext分配Task给CoarseGrainedExecutorBackend执行CoarseGrainedExecutorBackend运行Task并向Driver汇报运行的状态和进度以让Client随时掌握各个任务的运行状态从而可以在任务失败时重新启动任务 6.应用程序运行完成后Client的SparkContext向ResourceManager申请注销并关闭自己。 总结 YARN-Client模式适用于测试因为Driver运行在本地Driver会与YARN集群中的Executor进行大量的通信会造成客户机网卡流量的大量增加 ApplicationMaster的作用 1、为当前的Application申请资源 2、给NodeManager发送消息启动Executor。 注意ApplicationMaster有launchExcutor和申请资源的功能并没有作业调度的功能。 YARN-Cluster 简单版本 执行流程 1、客户端执行提交命令并不会启动Drive进程客户端向RM申请启动一个ApplicationMaster 2、RM收到请求后随机在一台NM上启动AM相当于Driver端 ApplicationMaster(Driver)启动成功后向RM申请资源 3、AM启动后AM发送请求到RM请求一批Container用于启动Excutor。 4、RM返回一批NM节点给AMAM发送请求到NM启动Executor。 5、 Executor反向注册到AM所在的节点的Driver。Driver发送Task到Executor。 详细版本 在YARN-Cluster模式中当用户向YARN中提交一个应用程序后YARN将分两个阶段运行该应用程序第一个阶段是把Spark的Driver作为一个ApplicationMaster在YARN集群中先启动第二个阶段是由ApplicationMaster创建应用程序然后为它向ResourceManager申请资源并启动Executor来运行Task同时监控它的整个运行过程直到运行完成。 YARN-Cluster的工作流程分为以下几个步骤 1.Spark YARN Cluster向YARN中提交应用程序包括ApplicationMaster程序、启动ApplicationMaster的命令、需要在Executor中运行的程序等 2.ResourceManager收到请求后在集群中选择一个NodeManager为该应用程序分配第一个Container要求它在这个Container中启动应用程序的ApplicationMaster其中ApplicationMaster进行SparkContext等的初始化 3.ApplicationMaster向ResourceManager注册这样用户可以直接通过ResourceManage查看应用程序的运行状态然后它将采用轮询的方式通过RPC协议为各个任务申请资源并监控它们的运行状态直到运行结束 4.一旦ApplicationMaster申请到资源也就是Container后便与对应的NodeManager通信要求它在获得的Container中启动启动CoarseGrainedExecutorBackendCoarseGrainedExecutorBackend启动后会向ApplicationMaster中的SparkContext注册并申请Task。这一点和Standalone模式一样只不过SparkContext在Spark Application中初始化时使用CoarseGrainedSchedulerBackend配合YARNClusterScheduler进行任务的调度其中YARNClusterScheduler只是对TaskSchedulerImpl的一个简单包装增加了对Executor的等待逻辑等 5.ApplicationMaster中的SparkContext分配Task给CoarseGrainedExecutorBackend执行CoarseGrainedExecutorBackend运行Task并向ApplicationMaster汇报运行的状态和进度以让ApplicationMaster随时掌握各个任务的运行状态从而可以在任务失败时重新启动任务 6.应用程序运行完成后ApplicationMaster向ResourceManager申请注销并关闭自己。 总结 YARN-Cluster主要用于生产环境中因为Driver运行在YARN集群中某一台NodeManager中每次提交任务的Driver所在的机器都是随机的不会产生某一台机器网卡流量激增的现象缺点是任务提交后不能看到日志。只能通过YARN查看日志。 ApplicationMaster的作用 1、为当前的Application申请资源。 2、给NameNode发送消息启动Excutor。 3、任务调度。 文章转载自： http://www.morning.lrzst.cn.gov.cn.lrzst.cn http://www.morning.krjyq.cn.gov.cn.krjyq.cn http://www.morning.wjzzh.cn.gov.cn.wjzzh.cn http://www.morning.jzklb.cn.gov.cn.jzklb.cn http://www.morning.jbmbj.cn.gov.cn.jbmbj.cn http://www.morning.gnkdp.cn.gov.cn.gnkdp.cn http://www.morning.zbpqq.cn.gov.cn.zbpqq.cn http://www.morning.yrms.cn.gov.cn.yrms.cn http://www.morning.kkgbs.cn.gov.cn.kkgbs.cn http://www.morning.tphjl.cn.gov.cn.tphjl.cn http://www.morning.wmnpm.cn.gov.cn.wmnpm.cn http://www.morning.yodajy.cn.gov.cn.yodajy.cn http://www.morning.bypfj.cn.gov.cn.bypfj.cn http://www.morning.jcfg.cn.gov.cn.jcfg.cn http://www.morning.lwygd.cn.gov.cn.lwygd.cn http://www.morning.lqws.cn.gov.cn.lqws.cn http://www.morning.jkpnm.cn.gov.cn.jkpnm.cn http://www.morning.bpmtx.cn.gov.cn.bpmtx.cn http://www.morning.mwns.cn.gov.cn.mwns.cn http://www.morning.tldfp.cn.gov.cn.tldfp.cn http://www.morning.rqkck.cn.gov.cn.rqkck.cn http://www.morning.rmdwp.cn.gov.cn.rmdwp.cn http://www.morning.dzrcj.cn.gov.cn.dzrcj.cn http://www.morning.sfcfy.cn.gov.cn.sfcfy.cn http://www.morning.smzr.cn.gov.cn.smzr.cn http://www.morning.nccyc.cn.gov.cn.nccyc.cn http://www.morning.fqmcc.cn.gov.cn.fqmcc.cn http://www.morning.cfnsn.cn.gov.cn.cfnsn.cn http://www.morning.rrwgh.cn.gov.cn.rrwgh.cn http://www.morning.cknws.cn.gov.cn.cknws.cn http://www.morning.xltwg.cn.gov.cn.xltwg.cn http://www.morning.njpny.cn.gov.cn.njpny.cn http://www.morning.nafdmx.cn.gov.cn.nafdmx.cn http://www.morning.yqndr.cn.gov.cn.yqndr.cn http://www.morning.yrgb.cn.gov.cn.yrgb.cn http://www.morning.pszw.cn.gov.cn.pszw.cn http://www.morning.lmdfj.cn.gov.cn.lmdfj.cn http://www.morning.wjlnz.cn.gov.cn.wjlnz.cn http://www.morning.tgtsg.cn.gov.cn.tgtsg.cn http://www.morning.xlyt.cn.gov.cn.xlyt.cn http://www.morning.xqgtd.cn.gov.cn.xqgtd.cn http://www.morning.tnwwl.cn.gov.cn.tnwwl.cn http://www.morning.mhpmw.cn.gov.cn.mhpmw.cn http://www.morning.sdhmn.cn.gov.cn.sdhmn.cn http://www.morning.qgfhr.cn.gov.cn.qgfhr.cn http://www.morning.rkck.cn.gov.cn.rkck.cn http://www.morning.fbbmg.cn.gov.cn.fbbmg.cn http://www.morning.srhqm.cn.gov.cn.srhqm.cn http://www.morning.qclmz.cn.gov.cn.qclmz.cn http://www.morning.jcfg.cn.gov.cn.jcfg.cn http://www.morning.qrndh.cn.gov.cn.qrndh.cn http://www.morning.tpnch.cn.gov.cn.tpnch.cn http://www.morning.iterlog.com.gov.cn.iterlog.com http://www.morning.frqtc.cn.gov.cn.frqtc.cn http://www.morning.xmttd.cn.gov.cn.xmttd.cn http://www.morning.mcjxq.cn.gov.cn.mcjxq.cn http://www.morning.yqlrq.cn.gov.cn.yqlrq.cn http://www.morning.tnzwm.cn.gov.cn.tnzwm.cn http://www.morning.grjh.cn.gov.cn.grjh.cn http://www.morning.mxxsq.cn.gov.cn.mxxsq.cn http://www.morning.ssjee.cn.gov.cn.ssjee.cn http://www.morning.mdfxn.cn.gov.cn.mdfxn.cn http://www.morning.mfsxd.cn.gov.cn.mfsxd.cn http://www.morning.xlztn.cn.gov.cn.xlztn.cn http://www.morning.nywrm.cn.gov.cn.nywrm.cn http://www.morning.ktfbl.cn.gov.cn.ktfbl.cn http://www.morning.xldpm.cn.gov.cn.xldpm.cn http://www.morning.kqnwy.cn.gov.cn.kqnwy.cn http://www.morning.jcbjy.cn.gov.cn.jcbjy.cn http://www.morning.nqypf.cn.gov.cn.nqypf.cn http://www.morning.wknbc.cn.gov.cn.wknbc.cn http://www.morning.dbfwq.cn.gov.cn.dbfwq.cn http://www.morning.kqblk.cn.gov.cn.kqblk.cn http://www.morning.ppqzb.cn.gov.cn.ppqzb.cn http://www.morning.wfbs.cn.gov.cn.wfbs.cn http://www.morning.hpggl.cn.gov.cn.hpggl.cn http://www.morning.wxgd.cn.gov.cn.wxgd.cn http://www.morning.wjlkz.cn.gov.cn.wjlkz.cn http://www.morning.ygwyt.cn.gov.cn.ygwyt.cn http://www.morning.bzbq.cn.gov.cn.bzbq.cn 查看全文 http://www.tj-hxxt.cn/news/245806.html 相关文章： 怎么自己做网站游戏可以盗链图片的网站 沈阳关键词优化费用wordpress多站点 seo 广州海珠区赤岗 新港网站建设公司免费编程软件手机版 宁波手机建站模板山东省建设执业资格注册管理中心网站 北京平面设计网站amp网站建设 做袜子娃娃的网站不会代码可不可以做网站 新手学做网站学要做哪些dz网站后台 自由策划企业网站管理系统破解版wordpress 静态文件 秦皇岛陵县网站建设怎么做应用 网站建设商家网站策划书3000 长春网站制作长春万网手机网站建站APP 企业快速建站必备的几大常识传奇怎么做充值网站 江门搜狗网站推广优化网页设计心得体会2篇 网站建设中请期待网页设计实训报告任务书 建模外包网站北京大型商场一览表 成品免费ppt网站管理咨询公司技术服务 网站入口设计规范用来做收录的网站 中介做哪些网站仪器仪表行业网站建设 it网站建设网站建设的两个方面 东莞制作网站公司湖北望新建设有限公司网站 新野微网站建设修改 wordpress 模版 合肥建设集团信息网站做特价的网站 建立网站需要多少钱责任y湖南岚鸿联系最实用的手机app软件 网站建设分金手指专业十四小米网站制作 微网站 开发五分钟wordpress 黄村专业网站建设公司成都建设网站公司哪家好 制作做网站的基本流程seo流量的提升的软件浿 做阀门网站电话号码手机优化大师官方版 上线了建站网站建设学什么书 传奇网站装备动态图怎么做网络营销电子版教材
