当前位置：首页 > news >正文

网站开发多长时间网站建设生产

news 2025/10/31 1:54:44

网站开发多长时间,网站建设生产,南宁vi设计公司,wordpress课程主题作者#xff1a;阿里云大数据基础工程技术团队——郭耀星大家上午好#xff01;我是来自阿里云大数据基础工程技术团队的郭耀星#xff0c;花名雪尧。今天我很高兴能够来到QCon#xff0c;与大家分享我的经验和心得。在当前的多云环境中#xff0c;作为运维支撑团队阿里云大数据基础工程技术团队——郭耀星大家上午好我是来自阿里云大数据基础工程技术团队的郭耀星花名雪尧。今天我很高兴能够来到QCon与大家分享我的经验和心得。在当前的多云环境中作为运维支撑团队如何在分裂严重、存在多个不同环境的异构Kubernetes底座情况下高效率地管理与交付业务应用是一个值得探讨的话题。在开始正式分享之前先做一个简单的自我介绍我是 17 年武汉大学毕业之后一直在阿里云的计算平台大数据基础工程技术团队从事大数据运维平台的研发工作也算是见证了大数据运维平台持续迭代演进的过程。在我刚入职之后我负责过多个运维中台服务的开发和建设。后来随着大数据架构从物理机向云化转变我逐步开始从事容器化相关的改造再到现在完全是云原生的天下。在这个过程中我主导了我们这边的 ABM也就是大数据运维平台在专有云及公共云上几十个应用从物理机到 on K8S 的转型这个过程很痛苦但也以此为契机沉淀出了一套多云环境下的云原生下应用管理与交付的服务以及相对应的实践经验期望在接下来的时间里与大家分享。今天我分享的内容主要有四个部分多云环境应用管理与交付痛点理论先行OAM多云环境交付实践 - 微服务 / 大数据产品 / SREWorks开源社区关键能力实现与解析AppManager (OAM Runtime) 首先来介绍多云环境下应用管理与交付的痛点然后看在这些痛点之上我们为什么选择了 OAM 作为我们的理论模型以及基于这套理论模型我们在多个业务场景下的实践经验最后是我们自己研发的这套 AppManager 服务关键能力的实现方案与解析。多云环境应用管理与交付痛点痛点 1 – 多云环境下的 K8s 底座适配问题首先是第一部分多云环境下应用管理与交付的痛点是什么由于在统一底层基础架构细节方面的出色表现K8S 已经成为企业多云管理的事实基础。但单服务商的单 K8S 集群真的满足需求么答案是否定的作为基础设施的运维我们会和形形色色的 K8S 集群打交道。有当前已有的各个厂商提供的公共云 K8S 集群也有专有云版本部署在网络隔离机房环境下的 K8S 集群以及单独拿出来做日常开发测试的 K8S 集群等等。除此之外在阿里的内部场景还有更多的虚拟 K8S 集群比如 Flink 全托管场景等。一般来说大家常见的诉求是需要物理隔离避免业务间相互影响。尽管 K8S 自身提供了 Namespace 级别的隔离你可以设置每个 Namespace 各自使用的 CPU 和内存甚至可以使用 Network Policy 配置不同 Namespace 的网络连通性但这些仍然不彻底企业还是需要一个更加彻底的物理隔离环境以此避免业务之间的互相影响。需要混合云。混合云场景下企业希望可以选择多个公有云厂商和私有云解决方案避免受限于单一云厂商或降低一定成本。需要应用异地多活。部署业务多个副本到不同 region 集群避免单个 region 的断电造成应用的不可用情况实现不把鸡蛋放在同一个篮子目的。需要环境分离。为了区分开发测试生产环境把这些环境部署到不同的集群。需要一定的集群拓展性来突破单一集群的容量上限。当然从纯粹的多集群视角来看目前方案有 Federation V1 / Federation V2 / OCM 等解决方案还有多个 kubeconfig 直连的方式。不过这块不是本次讨论的重点这里并不讨论多集群的问题而是讨论异构 K8S 底座多集群方案可以看做是异构 K8S 底座方案的一个子集。所以最后重点是如何在一个分裂的非常严重的位于多个不同环境的异构 K8S 底座下高效率的进行应用管理与交付。痛点 2 – 研发与运维的诉求冲突我们团队自身其实定位于运维平台开发上面会有两类角色一类是研发一类是 SRE。在更小规模的公司体量下运维开发和 SRE 会归为一体对研发提供运维平台及服务。当一个人的时候我们推崇全栈工程师DevOps。但随着规模和体量越来越大一定会出现很多责任田归属到不同的团队和不同的人。在上述演进的过程中研发和运维之间的矛盾会愈发凸显在研发及产品视角疯狂迭代疯狂上功能才能拿下用户拿下市场在运维视角不动线上不做变更就不会出问题。痛点 3 – 研发与运维的分工冲突在物理机/ECS时代我们自身控制着从下到上的整个链路。为了调和上述矛盾我们制定了各种各样的变更规范开发了各式各样的变更工具和流程当然也吵过了很多的架。那么在云原生的浪潮之下Kubernetes 统一了底层的基础设施减少了大部分的底层运维工作大家开玩笑说全部变成了 YAML 工程师。但还是有一个很重要的问题没有解决就是YAML怎么写谁来写如何交付到目标 K8S 集群过去的两年多的时间里上面这些问题实实在在地摆在了我们团队的面前在当前的定位与场景下要支持专有云、公共云、集团内部、开源社区等环境下的形形色色各式各样的 K8S 集群上面的服务托管与交付。理论先行OAM 古时候有兵马未动粮草先行。这里我们是代码未动理论先行。先说一下我们为什么会选择 OAM(Open Application Model) 作为我们解决问题的理论基础。我们上面讨论了多种多样的痛点后基本可以总结下面几点一个是开发者花费了太多的时间在基础设施的细节中。机器从哪来网络环境怎么样中间件资源/DNS/负载均衡怎么生成集团内部的服务怎么适配到公共云/专有云各个底座上等等。或者更进一步每个开发者都是 Yaml 工程师哪怕都是 K8S但每个底座让你提交的 YAML 都不一样。另外一个是可扩展性低。有越来越多的平台 or 底座在尝试去支撑各种类型需求的业务但一般来说应用本身对于平台的诉求会很快超越平台的能力。还有云服务供应商绑定。当选择了一个固定的底座后应用交付的方方面面将会打上这个底座的烙印当想尝试转到另一个底座的时候难于登天。最后是随着团队规模的膨胀研发、运维、平台人员之间开始各种相互踩脚沟通和协调的成本也越来越高。 OAM 针对上述痛点提出了以下几个观点应用为先一个应用的交付与部署应该是自包含的其中的各类操作行为应该作为应用定义的一部分这些内容与实际基础设施无关。清晰和可扩展性定义一套开放标准可以模块化整个应用交付流程根据个人需要将这些模块自由组装达成自己想要的结果。云服务供应商无关定义的开放标准应该是一套更高级别的抽象可以跨本地集群、跨云服务供应商不会被锁定到任何一个厂商的底座。 OAM 通过一系列概念的定义完成了对一个应用的抽象实现了角色职责的分离将应用交付这件事情与底座解耦使得跨云快速交付应用成为可能。开发同学也不再关心底座实现细节只关心自己的应用模型即可。OAM 的诞生旨在定义云原生应用标准。接下来我们简单介绍下 OAM 中的部分概念一个 Application也就是上图中最外面的蓝框代表一个应用是包含多个组件 Component 的这里的组件就是我们日常交付的最小业务单元也就是上图中的浅绿色部分比如一个微服务、一个 Job、一个 Helm 包等。那么组件 Component 的内部是由蓝色的 Workload 和深绿色的 Trait 组成的。Workload 就是工作负载类型描述了当前 Component 是谁而 Trait 则定义了当前组件的运维属性比如我需要给这个微服务加个 200G 存储加一条网关路由限制多少 CPU 内存资源或者更复杂一点当 Pod 漂移后 IP 变动了去做一些外部数据维护的事情。上面我描述的这些都可以用 Trait 来抽象及描述。上面说的这几个概念都是面向终态的和 K8S 自身的面向终态的逻辑是一致的我只需要声明式的写出我希望的实际交付后的应用的样子而不需要关心内部是怎么 Reconcile调和去实现的。除此之外还有工作流 Workflow 和应用执行策略 Policy 的概念作为补充他们是面向过程的用于解决单纯的面向终态的声明方式无法覆盖的交付过程控制比如人工审核、回滚、多集群发布等等。我认为 OAM 模型带给我们的最大影响是我们需要时时刻刻将“关注点分离”这个事情作为最大的准则简单来说就是明确人员分工。这里面有三个角色第一个角色是应用开发人员也就是写业务代码的同学他们只需要负责组件 Component 的定义比如我是什么类型的服务镜像怎么构建需要哪些参数来启动运行。第二个角色是应用运维人员他们定义上面讲到的运维特征也就是 Trait并将应用开发人员定义好的 Component 和这些 Trait 绑定到一起辅以 Policy Workflow来生成最终交付的 Application YAML并提交到 Runtime 实现去维护整个应用的生命周期。最后一个角色是基础设施运维人员他们去控制整个平台有哪些 Workload 可供上面两类角色使用以及维护整个平台层面的稳定性。当然在实际实践的过程中根据团队规模有可能一人身兼数职但随着团队规模的扩大按上面的描述进行团队的分工可以最大限度的降低沟通协作的成本提高应用管理与交付的效率及稳定性。多云环境交付实践终于讲完了理论我们接下来进入实践环节。先简要描述下我们的团队所面临的业务场景有四大块分别是专有云、公共云、集团内部还有开源社区专有云将 ABM 交付到各个客户现场环境中依赖统一的阿里专有云 K8s 底座。大部分的客户环境是网络隔离的不出差到现场的情况下只能拍照一来一回解决问题。公共云交付各个阿里大数据产品到公共云 ACK 集群上(资源集群 or 业务集群)多 Region为云上客户提供服务。集团内部部署各个大数据产品到集团内部 K8S 集群上多 Region为集团内部各业务方提供服务另外还需要将我们自身交付到 OXS(阿里云内核区域)K8s 公共集群中 (权限受限)。开源社区交付 SREWorks 到各类用户自建的集群下以及各大厂商公共云。产品形态面对上面所说的复杂多云环境我们最终设计的产品架构如下大家可以看到我们针对于多云下的应用管理和交付场景自研了一套基于 OAM 模型的 AppManager 服务可以认为是一套 OAM 模型的 Java Runtime 实现。它作为应用引擎提供了很多能力涵盖构建、部署、制品管理、工作流引擎、插件、多云支持、多环境支持、状态感知等等提供底层能力并向上暴露 API。在此之上我们针对三个场景提供了对应的用户界面并对实际用户提供服务。首先是企业应用管理各类开源/自有应用的云原生部署方案可扩展各种组件类型让使用者可以一键部署复杂应用支撑业务。之后是运维应用管理这里会细分一下第一类是使用前端低代码模式构建的运维应用配置能够被快速嵌入集成运维中台能力。此类应用无实际后端均为纯粹的应用配置集合。第二类是使用微服务类型构建的运维应用能够识别并托管上面说的的应用配置实现对应的运维中台能力。最后是大数据应用管理对应开源场景 SREWorks 下的企业应用管理。在内部我们通过该系统实现阿里云上的所有大数据产品的交付、售卖及管控能力。为了更好的和外部互动我们开源了 SREWorks作为一整套数智化运维的解决方案也就是上图中的 AppManager 企业应用管理运维应用管理期望能为大家提供开箱即用的云原生应用资源交付的运维平台。大家感兴趣的可以去 Github 上进一步了解一会儿会单独介绍。其中AppManager 和我们内部使用的是同一套代码和分支一直保持着和开源社区的同步企业应用管理和运维应用管理经过一定剪裁和开源适配而大数据应用管理因为涉及阿里云上各个大数据产品的交付、售卖及管控细节暂不开源。微服务接下来我们针对不同的业务类型来看一下整体的流程首先是最简单的微服务通过 AppManager研发的同学配置好自己的仓库和 Dockerfile就可以自动构建出来对应的镜像以及包装后的制品——微服务组件包多个微服务组件包最终打包为一个独立带版本的应用包。之后是 SRE 同学入场通过选择研发同学提供的制品配合自己配置的一系列交付参数比如部署到哪些目标集群、需要针对每个集群设置什么参数、加上哪些运维特征 Trait、配置什么策略、用什么工作流来编排、如何监测感知应用运行状态等等这些最终生成了一份 Application 的 Yaml 文件提交到 AppManager 运行。之后会由 AppManager 解析上述 YAML 并按要求交付到各个环境中完成整个多云环境下的应用交付过程。另外在右下角这类专有云隔离环境下我们还支持了离线包交付方便在网络隔离的环境下仍然简单高效的交付全部的应用。大数据产品接下来看阿里云上售卖的大数据云产品的场景大数据产品因为业务特性复杂有大量的动态渲染及相互依赖关系所以目前采用了我们内部自研的 AbmChart 组件类型来承载还有通用的 Helm/Kustomize 两种形态但不管采用哪种形态都是 Component在流程上和刚才并没有什么不同都是构建、打包、交付、监测。只不过组件类型的内部处理流程较为复杂以及交付的目标集群及形态多样化。 SREWorks开源社区最后是 SREWorks 开源社区SREWorks 是我们团队对SRE理念的工程实践的一套开源产品。通过抽象通用运维模型实现五大核心价值场景包括智能化运维、数据化运维、云原生 DevOps、云原生运维开发、多云管理。支撑“质量、成本、效率、安全”的运维需求提供“交付、监控、管理、控制、运营、服务”全生命周期能力支撑。统一管控方案看完了应用管理及交付的流程之后我们来看一下统一管控的方案因为是多云环境所以会需要一个中心环境 AppManager 服务来作为整体的管控也就是中心绿色的部分。我们把每一个网络隔离或用途隔离的环境称为一个单元 Unit单元内自成一体对外无任何依赖。每个单元需要部署一个 AppManager 作为这个单元自己的管控并负责自己这个单元下所有应用的交付动作。中心 AppManager 只负责向各个单元 AppManager 下发命令即可。在这个管控架构下我们目前有几种类型的单元每个单元可以非常灵活地适配其底座架构部署。鉴于本次演讲篇幅比较长我们将演讲稿分为了上下两篇文章。在这上篇中我们已经对多云管理有了一个基本的了解。在下篇中我们将更深入地解析多云管理的关键能力AppManager。
文章转载自：
http://www.morning.rszt.cn.gov.cn.rszt.cn
http://www.morning.plqkz.cn.gov.cn.plqkz.cn
http://www.morning.crqbt.cn.gov.cn.crqbt.cn
http://www.morning.ykgkh.cn.gov.cn.ykgkh.cn
http://www.morning.ldhbs.cn.gov.cn.ldhbs.cn
http://www.morning.mrlls.cn.gov.cn.mrlls.cn
http://www.morning.ryjl.cn.gov.cn.ryjl.cn
http://www.morning.hsrch.cn.gov.cn.hsrch.cn
http://www.morning.qxmys.cn.gov.cn.qxmys.cn
http://www.morning.wpqwk.cn.gov.cn.wpqwk.cn
http://www.morning.rgwz.cn.gov.cn.rgwz.cn
http://www.morning.wcft.cn.gov.cn.wcft.cn
http://www.morning.lxhgj.cn.gov.cn.lxhgj.cn
http://www.morning.hkpn.cn.gov.cn.hkpn.cn
http://www.morning.fjptn.cn.gov.cn.fjptn.cn
http://www.morning.bkppb.cn.gov.cn.bkppb.cn
http://www.morning.fwblh.cn.gov.cn.fwblh.cn
http://www.morning.bkylg.cn.gov.cn.bkylg.cn
http://www.morning.wgzgr.cn.gov.cn.wgzgr.cn
http://www.morning.hhmfp.cn.gov.cn.hhmfp.cn
http://www.morning.rwlsr.cn.gov.cn.rwlsr.cn
http://www.morning.qlkzl.cn.gov.cn.qlkzl.cn
http://www.morning.hrtfz.cn.gov.cn.hrtfz.cn
http://www.morning.nzfyx.cn.gov.cn.nzfyx.cn
http://www.morning.wdnkp.cn.gov.cn.wdnkp.cn
http://www.morning.mnccq.cn.gov.cn.mnccq.cn
http://www.morning.sqmbb.cn.gov.cn.sqmbb.cn
http://www.morning.zqfz.cn.gov.cn.zqfz.cn
http://www.morning.gyzfp.cn.gov.cn.gyzfp.cn
http://www.morning.trkhx.cn.gov.cn.trkhx.cn
http://www.morning.dgfpp.cn.gov.cn.dgfpp.cn
http://www.morning.nhzxd.cn.gov.cn.nhzxd.cn
http://www.morning.xhqwm.cn.gov.cn.xhqwm.cn
http://www.morning.dfkby.cn.gov.cn.dfkby.cn
http://www.morning.kflbf.cn.gov.cn.kflbf.cn
http://www.morning.pbgnx.cn.gov.cn.pbgnx.cn
http://www.morning.rfxw.cn.gov.cn.rfxw.cn
http://www.morning.hhboyus.cn.gov.cn.hhboyus.cn
http://www.morning.kwcnf.cn.gov.cn.kwcnf.cn
http://www.morning.rbgqn.cn.gov.cn.rbgqn.cn
http://www.morning.jqwpw.cn.gov.cn.jqwpw.cn
http://www.morning.pjxw.cn.gov.cn.pjxw.cn
http://www.morning.jjzrh.cn.gov.cn.jjzrh.cn
http://www.morning.mm27.cn.gov.cn.mm27.cn
http://www.morning.mrkbz.cn.gov.cn.mrkbz.cn
http://www.morning.jspnx.cn.gov.cn.jspnx.cn
http://www.morning.zqbrw.cn.gov.cn.zqbrw.cn
http://www.morning.ntdzjx.com.gov.cn.ntdzjx.com
http://www.morning.zjrnq.cn.gov.cn.zjrnq.cn
http://www.morning.nxzsd.cn.gov.cn.nxzsd.cn
http://www.morning.mltsc.cn.gov.cn.mltsc.cn
http://www.morning.fcrw.cn.gov.cn.fcrw.cn
http://www.morning.muniubangcaishui.cn.gov.cn.muniubangcaishui.cn
http://www.morning.rkck.cn.gov.cn.rkck.cn
http://www.morning.gryzk.cn.gov.cn.gryzk.cn
http://www.morning.crxdn.cn.gov.cn.crxdn.cn
http://www.morning.wnkqt.cn.gov.cn.wnkqt.cn
http://www.morning.bgdk.cn.gov.cn.bgdk.cn
http://www.morning.mjtgt.cn.gov.cn.mjtgt.cn
http://www.morning.tztgq.cn.gov.cn.tztgq.cn
http://www.morning.tdfyj.cn.gov.cn.tdfyj.cn
http://www.morning.dbylp.cn.gov.cn.dbylp.cn
http://www.morning.ztfzm.cn.gov.cn.ztfzm.cn
http://www.morning.bxnrx.cn.gov.cn.bxnrx.cn
http://www.morning.dnphd.cn.gov.cn.dnphd.cn
http://www.morning.qmtzq.cn.gov.cn.qmtzq.cn
http://www.morning.ggxbyhk.cn.gov.cn.ggxbyhk.cn
http://www.morning.leeong.com.gov.cn.leeong.com
http://www.morning.nswcw.cn.gov.cn.nswcw.cn
http://www.morning.tnnfy.cn.gov.cn.tnnfy.cn
http://www.morning.ns3nt8.cn.gov.cn.ns3nt8.cn
http://www.morning.rtkgc.cn.gov.cn.rtkgc.cn
http://www.morning.wnqbf.cn.gov.cn.wnqbf.cn
http://www.morning.kqhlm.cn.gov.cn.kqhlm.cn
http://www.morning.pxrfm.cn.gov.cn.pxrfm.cn
http://www.morning.tndhm.cn.gov.cn.tndhm.cn
http://www.morning.qrwdg.cn.gov.cn.qrwdg.cn
http://www.morning.kqrql.cn.gov.cn.kqrql.cn
http://www.morning.dnycx.cn.gov.cn.dnycx.cn
http://www.morning.zxzgr.cn.gov.cn.zxzgr.cn

查看全文

http://www.tj-hxxt.cn/news/263922.html