深圳做兼职的网站,丽江市建设局官方网站,wordpress投稿插件,抖音seo公司1. Zookeeper介绍
1.1 分布式系统面临的问题
分布式系统是一个硬件或软件组件分布在不同的网络计算机上#xff0c;彼此之间仅仅通过消息传递进行通信和协调的系统。
面临的问题#xff1a;系统每个节点之间信息同步及共享
以一个小团队为例,面临的问题 通过网络进行信息…1. Zookeeper介绍
1.1 分布式系统面临的问题
分布式系统是一个硬件或软件组件分布在不同的网络计算机上彼此之间仅仅通过消息传递进行通信和协调的系统。
面临的问题系统每个节点之间信息同步及共享
以一个小团队为例,面临的问题 通过网络进行信息共享 开发Leader在会上把任务分配下去,组员通过Leader的命令或者邮件 之类的系统知道自己要干什么.在分配有变化时,Leader会通知到具体的人,或者再次开会,通过人与人之间的直接沟通,完成信息传递通过共享存储 Leader将任务分配放到SVN或者git等上,组员每天去svn,git上拉取最新的任务分配表,然后干活,其中svn,git 就是共享存储,更好一点的做法是,当svn,git文件更新时,触发邮件通知,每个组员再去拉,任务表,
Zookeeper如何解决分布式系统面临的问题
ZooKeeper对分布式系统的协调使用的是第二种方式即共享存储。其实共享存储分布式应用也需要和存储进行网络通信。
Zookeeper解决分布式系统协同工作问题
1.2 什么是Zookeeper
举个例子
美团饿了么等等应用都是zookeeper的现实生活版, 我开了个饭店如何才能让大家都能吃到我们的饭菜需要入驻美团这样大家就可以在美团app中看到我的饭店下订单从而完成一次交易. ZooKeeper是一个开源的分布式协调服务由Apache软件基金会开发和维护。它旨在帮助构建分布式应用程序提供高可用性和可靠性。ZooKeeper 允许开发人员专注于核心应用程序逻辑而不必担心应用程序的分布式特性。
ZooKeeper的主要特点如下
分布式协调ZooKeeper提供了一个可靠的协调机制使得分布式系统中的各个组件能够相互通信和协调工作。它维护了一个分层的命名空间类似于一个文件系统允许客户端创建、删除、查看和更新节点。高可用性ZooKeeper通过在集群中多个服务器之间复制数据来实现高可用性。当其中一个服务器发生故障时其他服务器能够接管服务并继续提供数据访问。顺序一致性ZooKeeper提供了强一致性的保证即所有的更新操作将按照它们被提交的顺序进行处理。这对于分布式系统中需要有序操作的场景非常重要例如选举算法或分布式锁的实现。小巧灵活ZooKeeper的设计简单轻量核心功能集中在分布式协调方面使其易于部署和集成到现有系统中。它使用Java编写但也提供了对其他编程语言的支持。
1.3 Zookeeper的应用场景
1) 配置管理
通常在分布式系统或集群中所有节点的配置应该一致比如Hadoop集群要求对配置的修改能够快速同步到各个节点中可以通过 Zookeeper 实现 2) 服务注册中心
ZooKeeper服务注册中心服务提供者将自己的服务信息例如IP地址、端口号等注册到ZooKeeper中而服务消费者则通过查询ZooKeeper来发现可用的服务。 启动一个秒杀服务之后会向 ZooKeeper 进行注册操作向 ZooKeeper 的指定文件夹写入该秒杀服务的信息如 name、ip、port然后 ZooKeeper 会创建当前秒杀服务的节点客户端服务调用者连接 ZooKeeper 并获取秒杀服务的地址列表信息① 不是每次发送请求都会获取地址列表信息客户端会把地址列表信息缓存到本地② 客户端会绑定节点改变事件客户端获得了秒杀服务的地址列表信息在地址列表信息中随机选择一台秒杀服务发送请求假如有秒杀服务宕机ZooKeeper 会在注册中心移除掉该秒杀服务的地址信息并通知客户端进行地址列表信息的更新ZooKeeper 通过心跳机制知道服务器是否宕机客户端接收到 ZooKeeper 的通知并修改地址列表信息
3) 主从协调 上图两台服务器 server 01、server 02 构成集群。如果是主备集群那台服务器一开始是 Active 那台服务器一开始是 Standby 可通过 ZooKeeper 进行协调指定。
两台服务器启动向 ZooKeeper 注册中心写入注册信息并绑定对应的值绑定事件两台服务器都判断一下自己写入的注册信息在 ZooKeeper 注册中心的注册信息列表中是否是第一条记录第一条记录作为 Active 节点或 Master 节点除第一条记录之外的都是 Standby 节点或 Slave 节点。ZooKeeper 的节点信息发生改变新的服务器加入、旧的服务器宕机之后① 通知所有的已绑定值改变事件的客户端更新节点列表信息② 向所有的服务器发送值改变的通知所有的服务器接收到值改变通知后执行步骤 2
4) 分布式锁 全部的订单服务在调用 createId 接口前都往 ZooKeeper 的注册中心的指定目录写入注册信息如 /lock/server 01和绑定值改变事件全部的订单服务判断自己往注册中心指定目录写入的注册信息是否是全部注册信息中的第一条如果是调用 createId 接口不是第一条就等着。调用结束后去注册中心移除自己的信息ZooKeeper 注册中心信息改变后通知所有的绑定了值改变事件的订单服务执行第 2 条
3. 搭建Zookeeper服务器
3.1 windows下部署
3.1.1 下载安装包
下载地址: https://mirrors.cloud.tencent.com/apache/zookeeper/zookeeper-3.7.1/
也可以直接从资料中获取
3.1.2 修改配置文件 打开apache-zookeeper-3.7.0-bin\conf目录将 zoo_sample.cfg复制一份命名为 zoo.cfg打开 zoo.cfg修改 dataDir路径新增日志 dataLogDir路径 dataDir../datadataLogDir../log3.1.3 zoo.cfg 配置文件说明 # zookeeper时间配置中的基本单位 (毫秒)tickTime2000# 允许follower初始化连接到leader最大时长它表示tickTime时间倍数 即:initLimit*tickTimeinitLimit10# 允许follower与leader数据同步最大时长,它表示tickTime时间倍数 syncLimit5#zookeper 数据存储目录及日志保存目录如果没有指明dataLogDir则日志也保存在这个文件中dataDir/tmp/zookeeper#对客户端提供的端口号clientPort2181#单个客户端与zookeeper最大并发连接数maxClientCnxns60# 保存的数据快照数量之外的将会被清除autopurge.snapRetainCount3#自动触发清除任务时间间隔小时为单位。默认为0表示不自动清除。autopurge.purgeInterval13.1.4 启动Zookeeper
启动Zookeeper服务端 启动Zookeeper客户端 3.2 linux下部署
3.2.1 上传zookeeper
前提由于zookeeper是使用java语言开发的所以在安装zookeeper之前务必先在本机安装配置好java环境
1) 上传zookeeper 2) 解压zookeeper 3.2.2 配置环境变量
1) 配置conf
进入到安装目录的…/conf目录下 可以看到这里有个zoookeeper给我们的一个样例配置文件zoo_sample.cfg我们在配置我们自己的zk时需要做的就是将这个文件复制一份并命名为zoo.cfg然后在zoo.cfg中修改自己的配置即可。
[rootlocalhost conf]# cp zoo_sample.cfg zoo.cfg
[rootlocalhost conf]# vim zoo.cfg zoo.cfg的相关配置项其实并不多这边各个配置项的详细说明如下
# zookeeper内部的基本单位单位是毫秒这个表示一个tickTime为2000毫秒在zookeeper的其他配置中都是基于tickTime来做换算的
tickTime2000#集群中的follower服务器(F)与leader服务器(L)之间 初始连接 时能容忍的最多心跳数tickTime的数量。
initLimit10#syncLimit集群中的follower服务器(F)与leader服务器(L)之间 请求和应答 之间能容忍的最多心跳数tickTime的数量
syncLimit5# 数据存放文件夹zookeeper运行过程中有两个数据需要存储一个是快照数据持久化数据另一个是事务日志
dataDir/tmp/zookeeper# 客户端访问端口
clientPort2181
2) 配置环境变量
vim /etc/profile
export ZOOKEEPER_PREFIX/root/software/apache-zookeeper-3.7.1-bin
export PATH$PATH:$ZOOKEEPER_PREFIX/bin执行下面的命令,使配置生效
source profile3.2.3 启动服务
zkServer.sh start可以看到我们的zkServer以及启动好了。 可以查看下启动状态
zkServer.sh status客户端连接 根目录下有一个自带的/zookeeper子节点它来保存Zookeeper的配额管理信息不要轻易删除。
