当前位置： 首页 > news >正文 中国那些企业做网站做得好公司网站介绍范文 news 2025/10/28 11:39:22 中国那些企业做网站做得好,公司网站介绍范文,wordpress的密码忘记,广东南方通信建设有限公司官方网站部署模式 在一些应用场景中#xff0c;对于集群资源分配和占用的方式#xff0c;可能会有特定的需求。Flink为各种场景提供了不同的部署模式#xff0c;主要有以下三种#xff1a;会话模式#xff08;Session Mode#xff09;、单作业模式#xff08;Per-Job Mode…部署模式 在一些应用场景中对于集群资源分配和占用的方式可能会有特定的需求。Flink为各种场景提供了不同的部署模式主要有以下三种会话模式Session Mode、单作业模式Per-Job Mode、应用模式Application Mode。 区别主要在于集群的生命周期以及资源的分配方式以及应用的main方法到底在哪里执行——客户端Client还是 JobManager。 1.1 会话模式Session Mode 会话模式其实最符合常规思维。需要先启动一个集群保持一个会话在这个会话中通过客户端提交作业。集群启动时所有资源就都已经确定所以所有提交的作业会竞争集群中的资源。 会话模式比较适合于单个规模小、执行时间短的大量作业。 1.2 单作业模式Per-Job Mode 会话模式因为资源共享会导致很多问题所以为了更好地隔离资源可以考虑为每个提交的作业启动一个集群这就是所谓的单作业(Per-Job)模式。 作业完成后集群就会关闭所有资源也会释放。 这些特性使得单作业模式在生产环境运行更加稳定所以是 实际应用的首选模式。 需要注意的是Flink本身无法直接这样运行所以单作业模式一般需要借助一些资源管理框架来启动集群比如YARN、Kubernetes(K8S)。 1.3 应用模式Application Mode 前面提到的两种模式下应用代码都是在客户端上执行然后由客户端提交给JobManager的。但是这种方式客户端需要占用大量网络带宽去下载依赖和把二进制数据发送给JobManager加上很多情况下提交作业用的是同一个客户端就会加重客户端所在节点的资源消耗。 所以解决办法就是不要客户端了直接把应用提交到JobManger上运行。而这也就代表着需要为每一个提交的应用单独启动一个JobManager也就是创建一个集群。这个JobManager只为执行这一个应用而存在执行结束之后JobManager也就关闭了这就是所谓的应用模式。 应用模式与单作业模式都是提交作业之后才创建集群单作业模式是通过客户端来提交的客户端解析出的 每一个作业对应一个集群而应用模式下是直接由JobManager执行应用程序的。 实际应用时一般需要和资源管理平台结合起来选择特定的模式来分配资源、部署应用。 运行模式 2.1 Standalone 运行模式了解 独立模式是独立运行的不依赖任何外部的资源管理平台当然独立也是有代价的如果资源不足或者出现故障没有自动扩展或重分配资源的保证必须手动处理。所以独立模式一般只用在开发测试或作业非常少的场景下。 2.1.1 会话模式部署 提前启动集群并通过 Web 页面客户端提交任务可以多个任务但是集群资源固定。 2.1.2 单作业模式部署 Flink的Standalone集群并不支持单作业模式部署。因为单作业模式需要借助一些资源管理平台。 2.1.3 应用模式部署 应用模式下不会提前创建集群所以不能调用 start-cluster.sh 脚本。可以使用同样在bin 目录下的 standalone-job.sh 来创建一个 JobManager。 应用模式 jar包必须在lib目录下 2.2 YARN 运行模式重点 YARN hadoop中组件用于资源管理和作业调度上部署的过程是客户端把 Flink 应用提交给 Yarn 的ResourceManagerYarn的ResourceManager 会向 Yarn 的 NodeManager 申请容器 。在这些容器上Flink会部署JobManager 和 TaskManager 的实例从而启动集群。Flink 会根据运行在JobManger 上的作业所需要的 Slot 数量动态分配 TaskManager 资源。 2.2.1 前提准备 2.2.2 会话模式部署 YARN 的会话模式与独立集群略有不同需要首先申请一个YARN 会话YARNSession来启动 Flink 集群。具体步骤如下 可以Web UI界面提交 2.2.3 单作业模式部署 √ 在 YARN 环境中由于有了外部平台做资源调度所以也可以直接向YARN提交一个单独的作业从而启动一个 Flink 集群。 2.2.4 应用模式部署 应用模式同样非常简单与单作业模式类似直接执行 flink run-application 命令即可。 2.3 K8S 运行模式了解 容器化部署是如今业界流行的一项技术基于 Docker 镜像运行能够让用户更加方便地对应用进行管理和运维。容器管理工具中最为流行的就是 Kubernetesk8s而Flink也在最近的版本中支持了 k8s 部署模式。基本原理与 YARN 是类似的具体配置可以参见官网说明。 历史服务器 运行 Flink job 的集群一旦停止只能去 yarn 或本地磁盘上查看日志不再可以查看作业挂掉之前的运行的 Web UI很难清楚知道作业在挂的那一刻到底发生了什么。如果还没有 Metrics 监控的话那么完全就只能通过日志去分析和定位问题了所以如果能还原之前的 Web UI可以通过 UI 发现和定位一些问题。 Flink 提供了历史服务器用来在相应的 Flink 集群关闭后查询已完成作业的统计信息。都知道只有当作业处于运行中的状态才能够查看到相关的WebUI 统计信息。通过History Server 才能查询这些已完成作业的统计信息无论是正常退出还是异常退出。 此外它对外提供了 REST API它接受 HTTP 请求并使用JSON 数据进行响应。Flink任务停止后JobManager 会将已经完成任务的统计信息进行存档History Server 进程则在任务停止后可以对任务统计信息进行查询。比如最后一次的Checkpoint、任务运行时的相关配置。 bin/historyserver.sh stop5在浏览器地址栏输入http://hadoop102:8082 查看已经停止的job的统计信息。 文章转载自： http://www.morning.lwjlj.cn.gov.cn.lwjlj.cn http://www.morning.cjnfb.cn.gov.cn.cjnfb.cn http://www.morning.qlck.cn.gov.cn.qlck.cn http://www.morning.fkdts.cn.gov.cn.fkdts.cn http://www.morning.hlwzd.cn.gov.cn.hlwzd.cn http://www.morning.qjfkz.cn.gov.cn.qjfkz.cn http://www.morning.cnfjs.cn.gov.cn.cnfjs.cn http://www.morning.pbmkh.cn.gov.cn.pbmkh.cn http://www.morning.bkfdf.cn.gov.cn.bkfdf.cn http://www.morning.dplmq.cn.gov.cn.dplmq.cn http://www.morning.srhqm.cn.gov.cn.srhqm.cn http://www.morning.lmknf.cn.gov.cn.lmknf.cn http://www.morning.hjbrd.cn.gov.cn.hjbrd.cn http://www.morning.ymjgx.cn.gov.cn.ymjgx.cn http://www.morning.lksgz.cn.gov.cn.lksgz.cn http://www.morning.qkqhr.cn.gov.cn.qkqhr.cn http://www.morning.dtlnz.cn.gov.cn.dtlnz.cn http://www.morning.bqnhh.cn.gov.cn.bqnhh.cn http://www.morning.ycmpk.cn.gov.cn.ycmpk.cn http://www.morning.leboju.com.gov.cn.leboju.com http://www.morning.tklqs.cn.gov.cn.tklqs.cn http://www.morning.qyglt.cn.gov.cn.qyglt.cn http://www.morning.wyppp.cn.gov.cn.wyppp.cn http://www.morning.dfdhx.cn.gov.cn.dfdhx.cn http://www.morning.xkppj.cn.gov.cn.xkppj.cn http://www.morning.ppdr.cn.gov.cn.ppdr.cn http://www.morning.nptls.cn.gov.cn.nptls.cn http://www.morning.qdscb.cn.gov.cn.qdscb.cn http://www.morning.xqcgb.cn.gov.cn.xqcgb.cn http://www.morning.sbncr.cn.gov.cn.sbncr.cn http://www.morning.xflwq.cn.gov.cn.xflwq.cn http://www.morning.ypcbm.cn.gov.cn.ypcbm.cn http://www.morning.wmglg.cn.gov.cn.wmglg.cn http://www.morning.xdfkrd.cn.gov.cn.xdfkrd.cn http://www.morning.wmfh.cn.gov.cn.wmfh.cn http://www.morning.qmkyp.cn.gov.cn.qmkyp.cn http://www.morning.mhxlb.cn.gov.cn.mhxlb.cn http://www.morning.wrlff.cn.gov.cn.wrlff.cn http://www.morning.ltffk.cn.gov.cn.ltffk.cn http://www.morning.zlzpz.cn.gov.cn.zlzpz.cn http://www.morning.poapal.com.gov.cn.poapal.com http://www.morning.brxzt.cn.gov.cn.brxzt.cn http://www.morning.jxrpn.cn.gov.cn.jxrpn.cn http://www.morning.qjzgj.cn.gov.cn.qjzgj.cn http://www.morning.pmnn.cn.gov.cn.pmnn.cn http://www.morning.yrngx.cn.gov.cn.yrngx.cn http://www.morning.hqzmz.cn.gov.cn.hqzmz.cn http://www.morning.nzfqw.cn.gov.cn.nzfqw.cn http://www.morning.ltkms.cn.gov.cn.ltkms.cn http://www.morning.wbrf.cn.gov.cn.wbrf.cn http://www.morning.fygbq.cn.gov.cn.fygbq.cn http://www.morning.jbtzx.cn.gov.cn.jbtzx.cn http://www.morning.tphrx.cn.gov.cn.tphrx.cn http://www.morning.ftnhr.cn.gov.cn.ftnhr.cn http://www.morning.ljglc.cn.gov.cn.ljglc.cn http://www.morning.ypfw.cn.gov.cn.ypfw.cn http://www.morning.njhyk.cn.gov.cn.njhyk.cn http://www.morning.qfqld.cn.gov.cn.qfqld.cn http://www.morning.pbxkk.cn.gov.cn.pbxkk.cn http://www.morning.qdbcd.cn.gov.cn.qdbcd.cn http://www.morning.ljwyc.cn.gov.cn.ljwyc.cn http://www.morning.kyflr.cn.gov.cn.kyflr.cn http://www.morning.kzqpn.cn.gov.cn.kzqpn.cn http://www.morning.yqjjn.cn.gov.cn.yqjjn.cn http://www.morning.trjp.cn.gov.cn.trjp.cn http://www.morning.nkjjp.cn.gov.cn.nkjjp.cn http://www.morning.zdbfl.cn.gov.cn.zdbfl.cn http://www.morning.bnfrj.cn.gov.cn.bnfrj.cn http://www.morning.cznsq.cn.gov.cn.cznsq.cn http://www.morning.lgrkr.cn.gov.cn.lgrkr.cn http://www.morning.tqbw.cn.gov.cn.tqbw.cn http://www.morning.sbrrf.cn.gov.cn.sbrrf.cn http://www.morning.xfjwm.cn.gov.cn.xfjwm.cn http://www.morning.nkcfh.cn.gov.cn.nkcfh.cn http://www.morning.rydhq.cn.gov.cn.rydhq.cn http://www.morning.mysmz.cn.gov.cn.mysmz.cn http://www.morning.dpjtn.cn.gov.cn.dpjtn.cn http://www.morning.qwbht.cn.gov.cn.qwbht.cn http://www.morning.pzcjq.cn.gov.cn.pzcjq.cn http://www.morning.pcrzf.cn.gov.cn.pcrzf.cn 查看全文 http://www.tj-hxxt.cn/news/256558.html 相关文章： 网站做3年网站开发 网页制作 定制型网站wordpress重置后导航没反应 苏州专业做网站比较好的公司电商软件开发费用 寻找东莞微信网站建设万网封停慧聪事件 搜索引擎排名谷歌关键词优化排名系统 网站升级中模板发布信息的免费平台有哪些 旅游网站图片凡科建站免费 网站建设分为几种网站恶意做评论 网站界面设计软件上海网站建设费用 wordpress有哪些工具栏淄博网站优化首选公司 wordpress站点网址做网站属于什么行业 做淘口令的网站iis网站目录权限设置 商场设计案例贵州快速整站优化 网站建设域名怎么用网站建设常出现的问题 苏州网站免费在线观看电视剧的网站 广州外贸企业网站建设网址查询ip解析 网站建设需要哪些常用技术软件开发工时费一般是多少 只做乡村旅游的网站杨浦网站建设公司 做网站需要哪些步骤动易网站 青春 做恒指网站做外贸网站需要什么卡 如何搭建一个企业子账号网站云服务器可以建设个人网站吗 旅游网站建设论文题目网站建设规划书 百度文库 网站平台搭建要多少钱百度账号出售平台 立网站系请简述网站建设的一般流程图 文山知名网站建设哪家好成都开发小程序的公司 红豆网桂林论坛合肥百度关键词优化 营销型网站建设大概多少钱广东东远建设工程管理有限公司网站 网站建设合约手机做网站价格 网站备案查询是什么意思qq空间上传wordpress 检查网站有没有做301电商网站 支付宝接口
