专业的手机网站建设公司哪家好,网络平台制作公司,哪里可以做购物网站,江苏省 建设 注册中心网站首页文章目录 openGauss学习笔记-56 openGauss 高级特性-DCF56.1 架构介绍56.2 功能介绍56.3 使用示例 openGauss学习笔记-56 openGauss 高级特性-DCF
DCF全称是Distributed Consensus Framework#xff0c;即分布式一致性共识框架。DCF实现了Paxos、Raft等解决分布式一致性问题典… 文章目录 openGauss学习笔记-56 openGauss 高级特性-DCF56.1 架构介绍56.2 功能介绍56.3 使用示例 openGauss学习笔记-56 openGauss 高级特性-DCF
DCF全称是Distributed Consensus Framework即分布式一致性共识框架。DCF实现了Paxos、Raft等解决分布式一致性问题典型算法。使用DCF可以提供日志复制、集群高可用等能力。DCF提供了自选主能力支持少数派强起能力日志复制支持动态流量调整。同时也提供了基于Paxos多种角色节点类型并能进行调整。
DCF是一款高性能、高度成熟可靠、易扩展、易使用的独立基础库其他系统通过接口与DCF简单对接就能够轻松拥有Paxos算法赋予的强一致、高可用、自动容灾等能力。
56.1 架构介绍
DCF功能架构如图1所示主要包括功能模块、存储模块、通信模块、服务层等。
图 1 DCF功能架构图 算法模块 算法模块是基于multi-paxos协议实现同时结合自身业务场景、及高性能和生态的需求DCF做了很多功能扩展和性能优化使其相对于基础的multi-paxos功能变的更加丰富在多种部署场景下性能都有明显的提升。其主要包括Leader选举模块日志复制模块元数据模块以及集群管理模块等。 存储模块 出于特定业务场景和极致高性能考虑DCF将日志存储单独抽取出一套公共接口并实现了一个默认的高性能存储模块。有特定场景或极致高性能及成本需求的用户可以结合已有的存储系统对接DCF的日志存储接口来实现其特定需求这也是DCF作为第三方独立库的优势之一。 通信模块 通信模块主要是基于MEC实现Message Exchange Component提供整个DCF组件实例间通信能力以及异步事件处理框架。主要功能有可扩展的多种通信协议单播、广播、环回的发送接口消息异步处理的框架支持多channel机制和多优先级队列支持压缩和批量发送等。 服务层 服务层是驱动整个DCF运行的基础提供程序运行所需要的各种基础服务。例如锁、任务异步调度、线程池服务、定时器能力等。
56.2 功能介绍 支持在线添加、删除节点在线转让Leader能力 DCF在标准的multi-paxos基础上支持在线添加、删除节点支持在线将leader能力转让给其他节点。这更适合广泛业务场景构建开发的生态。 支持优先级选主和策略化多数派 **策略化多数派**经典Paxos 理论中多数派达成一致后数据就可以提交而多数派是非特定的并不能保证某个或某些节点一定能得到完整的数据。在实际应用中往往是地理位置较近的节点会拥有强一致的数据而地理位置较远的节点一直处于非强一致的状态在发生城市级容灾的时候无法激活为主节点形同虚设。策略化多数派能力可以让用户通过动态配置指定某个或某些节点必须保有强一致的数据在出现容灾需求的时可以立即激活为主节点。**优先级选主**用户可以指定各个节点的优先级。DCF严格按照指定的优先级选主只有在优先级高的节点全部不可用时才会激活优先级低的节点。 支持节点角色多样性 DCF除了可以提供经典的Leader、Follow、Candidate角色外还可以提供定制化的角色。例如Passive角色有日志有数据没有被选举权不参与多数派投票log角色有日志没有数据没有被选举权参与多数派投票。有了这些节点角色的支持DCF可以支持节点同步、同异步混合部署等多集群部署方式。 Batch Pipeline **Batch**DCF支持多级batch操作主要包括 将多个日志合并成单个消息进行发送。将多个日志合并写磁盘。将多个日志合并复制。 Batch可以有效的降低消息粒度带来的额外损耗提升吞吐。 **Pipeline**是指在上一个消息返回结果以前并发的发送下一个消息到对应节点的机制通过提高并发发送消息数量Pipeline数量可以有效的降低并发单请求延迟提升性能DCF在日志持久化、网络发送、日志复制等多个阶段采用纯异步方式将Pipeline性能发挥至极致。 高效流控算法 Batching、Pipelining虽然能够提升系统整体吞吐量和性能但是过大Batch也容易造成单请求时延过大导致并发请求数过高继而影响吞吐和请求时延为此DCF设计实现了一套高效自适应的流控算法自动探测网络带宽、网络发送时延、请求并发量等参数并适时调整Batch和Pipeline参数控制业务流量的注入。 流控算法主要流程如图2所示 图 2 流控算法流程 核心算法流程如下 DCF主节点周期性采样和计算共识信息这里的共识信息主要是端到端达成共识的时延、端到端达成共识的日志带宽、系统整体日志回放带宽。计算控制量主节点根据本次采样结果和历史结果得出性能变化趋势根据历史控制量的值和变化趋势调整本次控制方向和控制步长朝更优性能方向计算得出新的控制量。控制周期到达后更新控制量。控制量持续作用到业务流量控制业务流量注入的频率。
56.3 使用示例
假设集群三个节点ip分别为192.168.0.11,192.168.0.12,192.168.0.13。node id分别为1,2,3节点角色分别为LEADERFOLLOWERFOLLOWER。
使用DCF组件能力需要在使用OM安装部署阶段在配置文件中开启开关enable_dcf的值为on默认是关闭的并配置DCF config配置信息。
在script/gspylib/etc/conf/centralized/cluster_config_template_HA.xml获取XML文件模板。
每行信息均有注释进行说明。加粗字体内容为DCF相关内容。示例如下
?xml version1.0 encodingUTF-8?
ROOT!-- 整体信息 --CLUSTER!-- 数据库名称 --PARAM nameclusterName valueSample1 /!-- 数据库节点名称(hostname) --PARAM namenodeNames valuenode1,node2,node3 /!-- 节点IP与nodeNames一一对应 --PARAM namebackIp1s value192.168.0.11,192.168.0.12,192.168.0.13/!-- 数据库安装目录--PARAM namegaussdbAppPath value/opt/huawei/newsql/app /!-- 日志目录--PARAM namegaussdbLogPath value/opt/huawei/logs/gaussdb /!-- 临时文件目录--PARAM nametmpMppdbPath value/opt/huawei/logs/temp /!--数据库工具目录--PARAM namegaussdbToolPath value/opt/huawei/tools /!-- 集群数据库类型此处示例为非分布式即集中式类型--PARAM nameclusterType valuesingle-inst/!-- 是否开启DCF模式, 开启on关闭off --PARAM nameenable_dcf valueon/off/!-- DCF config配置信息 --PARAM namedcf_config value[{quot;stream_idquot;:1,quot;node_idquot;:1,quot;ipquot;:quot;192.168.0.11quot;,quot;portquot;:17783,quot;rolequot;:quot;LEADERquot;},{quot;stream_idquot;:1,quot;node_idquot;:2,quot;ipquot;:quot;192.168.0.12quot;,quot;portquot;:17783,quot;rolequot;:quot;FOLLOWERquot;},{quot;stream_idquot;:1,quot;node_idquot;:3,quot;ipquot;:quot;192.168.0.13quot;,quot;portquot;:17783,quot;rolequot;:quot;FOLLOWERquot;}]/ /CLUSTER
...安装完成后查询集群状态。 使用gs_ctl查询集群状态。 # gs_ctl query –D data_dir
# gs_ctl query -D /nvme0/gaussdb/cluster/nvme0/dn1
HA state:local role : Primary static connections : 2 db state : Normal detail information : Normal
Paxos replication info:paxos write location : 964/87134528 paxos commit location : 964/87134528 local write location : 964/87134528 local flush location : 964/87134528 local replay location : 964/87134528 dcf replication info : {stream_id:1,local_node_id:1,role:LEADER,term:3,run_mode:0,work_mode:0,hb_interval:1000,elc_timeout:3000,applied_index:14300633605.commit_index:14300633605,first_index:14300625186,last_index:14300633605,cluster_min_apply_idx14300633605,leader_id:1,leader_ip:172.16.137.38,leader_port:17783,nodes:[{node_id:1,id:172.16.137.38,port:17783,role:LEADER,next_index:14300633606,match_index:14300633605,apply_index:14300633605},{node_id:2,ip:172.16.137.40,port:17783,role:FOLLOWER,next_index:14300633606,match_index:14300633605,apply_index:14300633605},{node_id:3,ip:172.16.137.42,port:17783,role:FOLLOWER,next_index:14300633606,match_index:14300633605,apply_index:14300633605}}}其中: dcf_replication_info表示当前节点dcf信息。role表示当前节点角色角色一共有如下几种LEADER、FOLLOWER、LOGGER、PASSIVE、PRE_CANDICATE、CANDIDATE、UNKNOW。从上图可以看出当前节点是LEADER节点。term选举任期。run_modeDCF运行模式当前0表示自动选举模式2表示关闭自动选举模式。work_modeDCF工作模式。0表示多数派模式1表示少数派模式。hb_intervalDCF节点间心跳间隔时间单位ms。elc_timeoutDCF选举超时时间单位ms。applied_index被应用到状态机的日志位置。commit_index已被大多数DCF节点保存的日志位置此commit_index之前日志均已持久化。first_indexDCF节点保存的首条日志位置此位置会随着DN调用dcf_truncate而向后推进之前的日志会被清理。last_indexDCF节点保存的最后一条日志位置此日志位置包含DCF节点存储在内存里但是没有持久化的日志故而last_index commit_index。cluster_min_apply_idx集群最小已应用的日志位置。leader_idleader节点ID。leader_ipleader节点IP。leader_portleader节点端口DCF内部使用 。nodes集群其他节点信息。 集群规模在线调整。 若在线增加副本执行以下一条命令即可。 # gs_ctl member --operationadd --nodeidnode_id --ipip --portport -D data_dir若需在线降副本执行下面命令 # gs_ctl member --operationremove --nodeidnode_id -D data_dir在集群状态正常的情况下5分钟就可以完成删除单个副本的任务。 集群支持少数派强起功能。 在多数派故障场景下按正常的Paxos协议无法达成一致系统无法继续提供服务。为了提供紧急服务能力需在少数派情况下紧急启动提供服务。 使用命令如下 # cm_ctl setrunmode -n node_id -D data_dir --xmodeminority --votenumnum在集群3副本的情况下2副本故障只需1副本达成一致即可提交。 加回命令为 # cm_ctl setrunmode -n node_id -D data_dir --xmodenormal --votenumnum主动switchover操作。 支持一主多备部署模式下切换数据库主备实例实现AZ间的相互切换。switchover为维护操作需确保数据库实例状态正常所有业务结束并无主备追赶后再进行switchover操作。 例如节点备升主操作命令 # cm_ctl switchover –n node_id -D data_dir备机重建功能。 支持主备模式下全量build能力。实现过程是当主DN收到全量build的请求后阻塞主DN回收DCF日志备DN从主DN复制xlog日志和数据文件在备DN拉起后设置DCF开始复制日志点。 命令示例如下 gs_ctl build -b full -D new_node_data_dir点赞你的认可是我创作的动力 ⭐️ 收藏你的青睐是我努力的方向 ✏️ 评论你的意见是我进步的财富
