当前位置：首页 > news >正文

安徽干部学校建设网站百度seo收费

news 2025/10/31 23:28:13

安徽干部学校建设网站,百度seo收费,做列表的网站,宝安做小程序有推荐吗双机架构存储高可用方案的本质都是通过将数据复制到多个存储设备#xff0c;通过数据冗余的方式来实现高可用#xff0c;其复杂性主要体现在如何应对复制延迟和中断导致的数据不一致问题。因此#xff0c;对任何一个高可用存储方案#xff0c;我们需要从以下几个方面去进…双机架构存储高可用方案的本质都是通过将数据复制到多个存储设备通过数据冗余的方式来实现高可用其复杂性主要体现在如何应对复制延迟和中断导致的数据不一致问题。因此对任何一个高可用存储方案我们需要从以下几个方面去进行思考和分析数据如何复制各个节点的职责是什么如何应对复制延迟如何应对复制中断常见的高可用存储架构有主备、主从、主主、集群、分区。主备复制主备复制是最常见也是最简单的一种存储高可用方案几乎所有的存储系统都提供了主备复制的功能例如 MySQL、Redis、MongoDB 等。基本实现下面是标准的主备方案结构图优缺点分析优点 1、无须感知备机存在 2、对于主备双方只需要进行数据复制即可无须进行状态判断和主备切换操作缺点 1、备机仅仅只为备份并没有提供读写操作 2、故障后需要人工干预无法自动恢复使用场景内部的后台管理系统使用主备复制架构的情况会比较多例如学生管理系统、员工管理系统、假期管理系统等因为这类系统的数据变更频率低即使在某些场景下丢失数据也可以通过人工的方式补全主从复制主机负责读写操作从机只负责读操作不负责写操作。基本实现下面是标准的主从复制架构优缺点分析优点 1、主从复制在主机故障时读操作相关的业务可以继续运行 2、主从复制架构的从机提供读操作发挥了硬件的性能缺点 1、客户端需要感知主从关系并将不同的操作发给不同的机器进行处理 2、如果主从复制延迟比较大业务会因为数据不一致出现问题 3、故障时需要人工干预使用场景写少读多的业务场景使用主从复制架构较多。如论坛BBS、新闻网站等读操作数量是写操作数量的10倍甚至100倍以上。双机切换主备复制和主从复制方案存在两个共性的问题 1、主机故障后无法进行写操作2、如果主机无法恢复需要人工指定新的主机角色双机切换就是为了解决这两个问题而产生的包括主备切换和主从切换两种方案。简单来说这两个方案就是在原有方案的基础上增加“切换”功能即系统自动决定主机角色并完成角色切换。要实现一个完善的切换方案必须考虑这几个关键的设计点主备间状态判断状态传递的渠道是相互间互相连接还是第三方仲裁状态检测的内容例如机器是否掉电、进程是否存在、响应是否缓慢等。切换决策切换时机什么情况下备机应该升级为主机是机器掉电后备机才升级还是主机上的进程不存在就升级还是主机响应时间超过2秒就升级还是3分钟内主机连续重启3次就升级等。切换策略原来的主机故障恢复后要再次切换确保原来的主机继续做主机还是原来的主机故障恢复后自动成为新的备机自动程度切换是完全自动还是半自动的数据冲突解决当原有故障的主机恢复后新旧主机之间可能存在数据冲突。例如用户在旧主机上新增了一条ID为100的数据这个数据还没有复制到旧的备机此时发生切换用户又在新的主机新增了一条ID为100的数据当旧的故障主机恢复后这两条ID重复的数据如何处理。根据状态传递渠道的不同常见的主备切换架构有三种形式互连式、中介式和模拟式。互连式互连式是指主备机直接建立状态传递的渠道存在状态传递通道故障的问题可以是主机发送状态给备机也可以是备机到主机来获取状态信息。可以和数据复制通道共用也可以独立一条通道。为了充分利用切换方案能够自动决定主机这个优势客户端也会有一些相应的改变常见方式如下 1、为了切换后不影响客户端的访问主机和备机之间共享一个对客户端来说唯一的地址。例如虚拟 IP主机需要绑定这个虚拟的 IP。 2、客户端同时记录主备机的地址 3、备机虽然能收到客户端的操作请求但是会直接拒绝拒绝的原因就是“备机不对外提供服务” 互连式缺点 1、状态传递的通道故障时可能导致备机也认为主机故障了从而升级为主机导致出现两个主机 2、如果增加多个通道增强状态传递的可靠性只是降低通道故障概率不能根本解决这个缺点并且通道越多状态决策越复杂。中介式中介式指的是在主备两者之外引入第三方中介主备机之间不直接连接而都去连接中介并且通过中介来传递状态信息虽然中介式在状态传递和状态决策上更加简单但存在如何保证中介本身的高可用问题。如果中介自己宕机了整个系统就进入了双备的状态写操作相关的业务就不可用了。 MongoDB的Replica Set采取的就是中介式架构图如下 MongoDBM主节点存储数据MongoDBS备节点存储数据MongoDBA仲裁节点不存储数据客户端连接主备节点。开源方案已经有比较成熟的中介式解决方案例如 ZooKeeper 和 Keepalived。ZooKeeper 本身已经实现了高可用集群架构因此已经帮我们解决了中介本身的可靠性问题在工程实践中推荐基于 ZooKeeper 搭建中介式切换架构。模拟式模拟式指主备机之间并不传递任何状态数据而是备机模拟成一个客户端向主机发起模拟的读写操作根据读写操作的响应情况来判断主机的状态。模拟式切换与互连式切换相比优点是实现更加简单因为省去了状态传递通道的建立和管理工作。简单既是优点同时也是缺点。因为模拟式读写操作获取的状态信息只有响应信息例如HTTP 404超时、响应时间超过 3 秒等没有互连式那样多样除了响应信息还可以包含 CPU 负载、I/O 负载、吞吐量、响应时间等基于有限的状态来做状态决策可能出现偏差。主主复制主主复制指的是两台机器都是主机互相将数据复制给对方客户端可以任意挑选其中一台机器进行读写操作主主复制从总体上来看要简单很多无须状态信息传递也无须状态决策和状态切换但是其对使用场景有限制如果采取主主复制架构必须保证数据能够双向复制而很多数据是不能双向复制的。例如 1、用户注册后生成的用户 ID如果按照数字增长那就不能双向复制否则就会出现多台主机出现同一ID;2、库存不能双向复制一台主机减了另一台主机也减了复制后被覆盖掉因此主主复制架构对数据的设计有严格的要求一般适合于那些临时性、可丢失、可覆盖的数据场景。例如用户登录产生的 session 数据可以重新登录生成、用户行为的日志数据可以丢失、论坛的草稿数据可以丢失等。集群和分区数据集群主备、主从、主主架构本质上都有一个隐含的假设主机能够存储所有数据主机本身的存储和处理能力有极限。单台服务器肯定是无法存储和处理的我们必须使用多台服务器来存储数据这就是数据集群架构。集群就是多台机器组合在一起形成一个统一的系统这里的“多台”数量上至少是 3 台相比而言主备、主从都是 2 台机器。根据集群中机器承担的不同角色来划分集群可以分为两类数据集中集群、数据分散集群。数据集中集群 1 主多备或者 1 主多从。无论是 1 主 1 从、1 主 1 备还是 1 主多备、1 主多从数据都只能往主机中写而读操作可以参考主备、主从架构进行灵活多变。下图是读写全部到主机的一种架构虽然架构上是类似的但由于集群里面的服务器数量更多导致复杂度整体更高一些具体体现在 1、主机如何将数据复制给备机主备和主从架构中只有一条复制通道而数据集中集群架构中存在多条复制通道。多条复制通道首先会增大主机复制的压力某些场景下我们需要考虑如何降低主机复制压力或者降低主机复制给正常读写带来的压力。其次多条复制通道可能会导致多个备机之间数据不一致某些场景下我们需要对备机之间的数据一致性进行检查和修正。 2、备机如何检测主机状态主备和主从架构中只有一台备机需要进行主机状态判断。在数据集中集群架构中多台备机都需要对主机状态进行判断而不同的备机判断的结果可能是不同的如何处理不同备机对主机状态的不同判断是一个复杂的问题 3、主机故障后如何决定新的主机主从架构中如果主机故障将备机升级为主机即可而在数据集中集群架构中有多台备机都可以升级为主机但实际上只能允许一台备机升级为主机那么究竟选择哪一台备机作为新的主机备机之间如何协调目前开源的数据集中集群以 ZooKeeper 为典型ZooKeeper 通过 ZAB 算法来解决上述提到的几个问题但 ZAB 算法的复杂度是很高的。数据分散集群数据分散集群指多个服务器组成一个集群每台服务器都会负责存储一部分数据同时为了提升硬件利用率每台服务器又会备份一部分数据。数据分散集群的复杂点在于如何将数据分配到不同的服务器上算法需要考虑这些设计点均衡性算法需要保证服务器上的数据分区基本是均衡的不能存在某台服务器上的分区数量是另外一台服务器的几倍的情况。容错性当出现部分服务器故障时算法需要将原来分配给故障服务器的数据分区分配给其他服务器。可伸缩性当集群容量不够扩充新的服务器后算法能够自动将部分数据分区迁移到新服务器并保证扩容后所有服务器的均衡性。数据分散集群和数据集中集群的不同点在于数据分散集群中的每台服务器都可以处理读写请求因此不存在数据集中集群中负责写的主机那样的角色。但在数据分散集群中必须有一个角色来负责执行数据分配算法这个角色可以是独立的一台服务器也可以是集群自己选举出的一台服务器。如果是集群服务器选举出来一台机器承担数据分区分配的职责则这台服务器一般也会叫作主机但我们需要知道这里的“主机”和数据集中集群中的“主机”其职责是有差异的。 Hadoop 的实现就是独立的服务器负责数据分区的分配这台服务器叫作 Namenode。Hadoop 的数据分区管理架构如下 Hadoop官方网站——HDFS架构下面是 Hadoop 官方的解释能够说明集中式数据分区管理的基本方式。 HDFS 采用 master/slave 架构。一个 HDFS 集群由一个 Namenode 和一定数目的Datanodes 组成。Namenode 是一个中心服务器负责管理文件系统的名字空间namespace以及客户端对文件的访问。集群中的 Datanode 一般是一个节点一个负责管理它所在节点上的存储。HDFS暴露了文件系统的名字空间用户能够以文件的形式在上面存储数据。从内部看一个文件其实被分成一个或多个数据块这些块存储在一组Datanode 上。Namenode 执行文件系统的名字空间操作比如打开、关闭、重命名文件或目录。它也负责确定数据块到具体 Datanode节点的映射。Datanode 负责处理文件系统客户端的读写请求。在 Namenode 的统一调度下进行数据块的创建、删除和复制操作。与 Hadoop 不同的是Elasticsearch 集群通过选举一台服务器来做数据分区的分配叫作 master node其数据分区管理架构是其中 master 节点的职责如下 The master node is responsible for lightweight cluster-wide actions such as creating or deleting an index, tracking which nodes are part of the cluster, and deciding which shards to allocate to which nodes. It is important for cluster health to have a stable master node. elasticsearch官方文档——modules-node 数据集中集群架构中客户端只能将数据写到主机数据分散集群架构中客户端可以向任意服务器中读写数据。正是因为这个关键的差异决定了两种集群的应用场景不同。一般来说数据集中集群适合数据量不大集群机器数量不多的场景。例如ZooKeeper 集群一般推荐 5 台机器左右数据量是单台服务器就能够支撑而数据分散集群由于其良好的可伸缩性适合业务数据量巨大、集群机器数量庞大的业务场景。例如Hadoop 集群、HBase 集群大规模的集群可以达到上百台甚至上千台服务器。数据分区前面我们讨论的存储高可用架构都是基于硬件故障的场景去考虑和设计的主要考虑当部分硬件可能损坏的情况下系统应该如何处理但对于一些影响非常大的灾难或者事故来说有可能所有的硬件全部故障。例如新奥尔良水灾、美加大停电、洛杉矶大地震等这些极端灾害或者事故可能会导致一个城市甚至一个地区的所有基础设施瘫痪这种情况下基于硬件故障而设计的高可用架构不再适用我们需要基于地理级别的故障来设计高可用架构这就是数据分区架构产生的背景。不同分区分布在不同的地理位置上每个分区存储一部分数据通过这种方式来规避地理级别的故障所造成的巨大影响。数据量数据量的大小直接决定了分区的规则复杂度。例如使用 MySQL 来存储数据假设一台 MySQL 存储能力是 500GB那么 2TB 的数据就至少需要 4 台 MySQL 服务器而如果数据是 200TB并不是增加到 800 台的 MySQL 服务器那么简单。如果按照 4 台服务器那样去平行管理 800 台服务器复杂度会发生本质的变化具体表现为 800 台服务器里面可能每周都有一两台服务器故障从 800 台里面定位出 2 台服务器故障很多情况下并不是一件容易的事情运维复杂度高。增加新的服务器分区相关的配置甚至规则需要修改而每次修改理论上都有可能影响已有的 800 台服务器的运行不小心改错配置的情况在实践中太常见了。如此大量的数据如果在地理位置上全部集中于某个城市风险很大遇到了水灾、大停电这种灾难性的故障时数据可能全部丢失因此分区规则需要考虑地理容灾。分区规则洲际分区主要用于面向不同大洲提供服务由于跨洲通讯的网络延迟已经大到不适合提供在线服务了因此洲际间的数据中心可以不互通或者仅仅作为备份国家分区主要用于面向不同国家的用户提供服务不同国家有不同语言、法律、业务等国家间的分区一般也仅作为备份城市分区由于都在同一个国家或者地区内网络延迟较低业务相似分区同时对外提供服务可以满足业务异地多活之类的需求。复制规则数据分散在多个地区分区架构同样需要考虑复制方案。复制规则有三种集中式、互备式和独立式。集中式集中式备份指存在一个总的备份中心所有的分区都将数据备份到备份中心其基本架构如下优缺点是设计简单各分区之间并无直接联系可以做到互不影响。扩展容易如果要增加第四个分区例如武汉分区只需要将武汉分区的数据复制到西安备份中心即可其他分区不受影响。成本较高需要建设一个独立的备份中心。互备式互备式备份指每个分区备份另外一个分区的数据其基本架构如下优缺点是设计比较复杂各个分区除了要承担业务数据存储还需要承担备份功能相互之间互相关联和影响。扩展麻烦如果增加一个武汉分区则需要修改广州分区的复制指向武汉分区然后将武汉分区的复制指向北京分区。而原有北京分区已经备份了的广州分区的数据怎么处理也是个难题不管是做数据迁移还是广州分区历史数据保留在北京分区新数据备份到武汉分区无论哪种方式都很麻烦。成本低直接利用已有的设备。独立式独立式备份指每个分区自己有独立的备份中心其基本架构如下独立式备份架构的优缺点是设计简单各分区互不影响。扩展容易新增加的分区只需要搭建自己的备份中心即可。成本高每个分区需要独立的备份中心备份中心的场地成本是主要成本因此独立式比集中式成本要高很多。
文章转载自：
http://www.morning.bwqcx.cn.gov.cn.bwqcx.cn
http://www.morning.cwtrl.cn.gov.cn.cwtrl.cn
http://www.morning.pghry.cn.gov.cn.pghry.cn
http://www.morning.yhwyh.cn.gov.cn.yhwyh.cn
http://www.morning.yjmns.cn.gov.cn.yjmns.cn
http://www.morning.qnrpj.cn.gov.cn.qnrpj.cn
http://www.morning.gnkbf.cn.gov.cn.gnkbf.cn
http://www.morning.fjntg.cn.gov.cn.fjntg.cn
http://www.morning.xjmpg.cn.gov.cn.xjmpg.cn
http://www.morning.shinezoneserver.com.gov.cn.shinezoneserver.com
http://www.morning.lynmt.cn.gov.cn.lynmt.cn
http://www.morning.wqpm.cn.gov.cn.wqpm.cn
http://www.morning.qjxxc.cn.gov.cn.qjxxc.cn
http://www.morning.nbybb.cn.gov.cn.nbybb.cn
http://www.morning.tjqcfw.cn.gov.cn.tjqcfw.cn
http://www.morning.mrcpy.cn.gov.cn.mrcpy.cn
http://www.morning.hbxnb.cn.gov.cn.hbxnb.cn
http://www.morning.qlrtd.cn.gov.cn.qlrtd.cn
http://www.morning.pbmkh.cn.gov.cn.pbmkh.cn
http://www.morning.ymmjx.cn.gov.cn.ymmjx.cn
http://www.morning.ykgkh.cn.gov.cn.ykgkh.cn
http://www.morning.hxgly.cn.gov.cn.hxgly.cn
http://www.morning.yydzk.cn.gov.cn.yydzk.cn
http://www.morning.ypktc.cn.gov.cn.ypktc.cn
http://www.morning.nnwmd.cn.gov.cn.nnwmd.cn
http://www.morning.wnywk.cn.gov.cn.wnywk.cn
http://www.morning.qgjxt.cn.gov.cn.qgjxt.cn
http://www.morning.yxmcx.cn.gov.cn.yxmcx.cn
http://www.morning.zlnkq.cn.gov.cn.zlnkq.cn
http://www.morning.rkqzx.cn.gov.cn.rkqzx.cn
http://www.morning.scjtr.cn.gov.cn.scjtr.cn
http://www.morning.qrsm.cn.gov.cn.qrsm.cn
http://www.morning.qkkmd.cn.gov.cn.qkkmd.cn
http://www.morning.mehrim.com.gov.cn.mehrim.com
http://www.morning.tnrdz.cn.gov.cn.tnrdz.cn
http://www.morning.cwkcq.cn.gov.cn.cwkcq.cn
http://www.morning.pgzgy.cn.gov.cn.pgzgy.cn
http://www.morning.mhcft.cn.gov.cn.mhcft.cn
http://www.morning.rcgzg.cn.gov.cn.rcgzg.cn
http://www.morning.dkbsq.cn.gov.cn.dkbsq.cn
http://www.morning.pwdrc.cn.gov.cn.pwdrc.cn
http://www.morning.nydgg.cn.gov.cn.nydgg.cn
http://www.morning.qflwp.cn.gov.cn.qflwp.cn
http://www.morning.burpgr.cn.gov.cn.burpgr.cn
http://www.morning.jlpdc.cn.gov.cn.jlpdc.cn
http://www.morning.yqrgq.cn.gov.cn.yqrgq.cn
http://www.morning.yqndr.cn.gov.cn.yqndr.cn
http://www.morning.nfbnl.cn.gov.cn.nfbnl.cn
http://www.morning.qbmjf.cn.gov.cn.qbmjf.cn
http://www.morning.txhls.cn.gov.cn.txhls.cn
http://www.morning.tslfz.cn.gov.cn.tslfz.cn
http://www.morning.rwyd.cn.gov.cn.rwyd.cn
http://www.morning.bypfj.cn.gov.cn.bypfj.cn
http://www.morning.xpzrx.cn.gov.cn.xpzrx.cn
http://www.morning.pswzc.cn.gov.cn.pswzc.cn
http://www.morning.bmqls.cn.gov.cn.bmqls.cn
http://www.morning.qjzgj.cn.gov.cn.qjzgj.cn
http://www.morning.bnxnq.cn.gov.cn.bnxnq.cn
http://www.morning.kpzrf.cn.gov.cn.kpzrf.cn
http://www.morning.tpnch.cn.gov.cn.tpnch.cn
http://www.morning.jqrp.cn.gov.cn.jqrp.cn
http://www.morning.sqlh.cn.gov.cn.sqlh.cn
http://www.morning.kyflr.cn.gov.cn.kyflr.cn
http://www.morning.dyfmh.cn.gov.cn.dyfmh.cn
http://www.morning.nssjy.cn.gov.cn.nssjy.cn
http://www.morning.ckdgj.cn.gov.cn.ckdgj.cn
http://www.morning.dyxzn.cn.gov.cn.dyxzn.cn
http://www.morning.kdhrf.cn.gov.cn.kdhrf.cn
http://www.morning.xlmpj.cn.gov.cn.xlmpj.cn
http://www.morning.qfbzj.cn.gov.cn.qfbzj.cn
http://www.morning.ngkgy.cn.gov.cn.ngkgy.cn
http://www.morning.smkxm.cn.gov.cn.smkxm.cn
http://www.morning.dpbdq.cn.gov.cn.dpbdq.cn
http://www.morning.mrlls.cn.gov.cn.mrlls.cn
http://www.morning.dgmjm.cn.gov.cn.dgmjm.cn
http://www.morning.ccphj.cn.gov.cn.ccphj.cn
http://www.morning.kdbbm.cn.gov.cn.kdbbm.cn
http://www.morning.nhrkc.cn.gov.cn.nhrkc.cn
http://www.morning.jpnfm.cn.gov.cn.jpnfm.cn
http://www.morning.bhwll.cn.gov.cn.bhwll.cn

查看全文

http://www.tj-hxxt.cn/news/266478.html