微信公众号外链接网站开发,中信建设有限责任公司初晓,域名加wordpress后缀,网站流量统计工具一. 高可用集群的相关知识
1.1 高可用#xff08;HA#xff09;集群和普通集群的比较
① 普通集群
普通的群集的部署是通过一台度器控制调配多台节点服务器进行业务请求的处理#xff0c;但是仅仅是一台调度器#xff0c;就会存在极大的单点故障风险#xff0c;当该调度…一. 高可用集群的相关知识
1.1 高可用HA集群和普通集群的比较
① 普通集群
普通的群集的部署是通过一台度器控制调配多台节点服务器进行业务请求的处理但是仅仅是一台调度器就会存在极大的单点故障风险当该调度器的链路或则调度器本身出现故障时就会导致整个业务的无法正常进行。 ② 高可用集群
高可用集群是由一台主调度器和一台或多台备用调度器。在主调度器能够正常运转时由主调度器进行节点服务器业务的分配处理其余备用调度器处于待机状态不参与当前的集群运转。当主调度器出现故障无法运转时此时备用调度器会由优先级最高的调度承担主调度器的工作而出现故障的主调调度器便会退出当前工作由人工维修后返回集群。 两者比较后高可用集群只需要在调度器上多进行一台或两台服务器本身的价格比较昂贵一般备用的服务器的数量会和当前业务创造的价值对等的设置就可避免因调度器瘫痪业务中断的风险所以实现了真正的高可用的效果。
1.2 Keepalive 高可用方案
Keepalived 是一个基于VRRP协议来实现的LVS服务高可用方案可以解决静态路由出现的单点故障问题。
在一个LVS服务集群中通常有主服务器MASTER和备份服务器BACKUP两种角色的服务器但是对外表现为一个虚拟IPVIP主服务器会发送VRRP通告信息给备份服务器当备份服务器收不到VRRP消息的时候即主服务器异常的时候备份服务器就会接管虚拟IP继续提供服务从而保证了高可用性。主备服务器之间由优先级决定优先级更高的充当主服务器优先级低的成为备份服务器。
1.3 Keepalive 基础
1.3.1 vrrp 技术
VRRP 相关术语 虚拟路由器Virtual Router 不是真实存在 虚构出来的 虚拟路由器标识VRID(0-255)唯一标识虚拟路由器 VIPVirtual IP VMACVirutal MAC (00-00-5e-00-01-VRID) 物理路由器 master主设备 backup备用设备 priority优先级 0-255
状态机 心跳线 1s 1.3.2 VRRP 相关技术
通告心跳优先级等周期性
工作方式抢占式非抢占式延迟抢占模式
安全认证 无认证 简单字符认证预共享密钥 MD5
工作模式 主/备单虚拟路径器 主/主主/备虚拟路由器1备/主虚拟路由器2
#通告
是宣告自己的主权不要妄想抢班夺权不停的向外#抢占式
主服务器宕机过了一段时间修好了再把主权抢过来#非抢占式
主服务器宕机过了一段时间修好了原来的主就作为备了#延迟抢占
主修好后等待一定的时间300s后再次成为主#主/主主/备虚拟路由器1备/主虚拟路由器2见下图
环境
有两台服务器
虚拟出两台虚拟路由器
第一台虚拟路由器中服务器1为主服务器2为备那么虚拟IP1就飘在服务器1上真正工作的只有服务器1
第二台虚拟路由器中服务器2为主服务器1为备那么虚拟IP2就飘在服务器2上真正工作的只有服务器2优点
#提高了资源利用率
这样主备服务器同时干活可以同时运行两个项目
#同样有备份功能
如果服务器1坏了服务器2 将同时拥有虚拟IP1和虚拟IP2缺点
虽然有备份冗余功能但是对机器的性能要求非常高当其中一台出现故障本来一台运行一个任务现在所有的业务全部压在了一台上有十分大的风险
1.4 Keepalived 的体系模块
功能 基于vrrp协议完成地址流动 为vip地址所在的节点生成ipvs规则(在配置文件中预先定义) 为ipvs集群的各RS做健康状态检测 基于脚本调用接口完成脚本中定义的功能进而影响集群事务以此支持nginx、haproxy等服务
core模块为 keepalived 的核心负责主进程的启动、维护及全局配置文件的加载和解析。
vrrp模块是来实现VRRP协议的。调度器之间的健康检查和主备切换
check模块负责健康检查常见的方式有端口检查及URL检查。节点服务器的健康检查
1.5 Keepalived 架构 用户空间核心组件 vrrp stackVIP消息通告 虚拟ip checkers监测 real server简单来说 就是监控后端真实服务器的服务是否存活 system call实现 vrrp 协议状态转换时调用脚本的功能 SMTP邮件组件报警邮件 IPVS wrapper生成IPVS规则直接生成 ipvsadm Netlink Reflector网络接口将虚拟地址ipvip地址飘动
WatchDog监控进程整个架构是否有问题 控制组件提供keepalived.conf 的解析器完成Keepalived配置 IO复用器针对网络目的而优化的自己的线程抽象 内存管理组件为某些通用的内存管理功能例如分配重新分配发布等提供访问权限
1.6 Keepalived 实现原理
由多台路由器组成一个热备组通过共用的虚拟IP地址对外提供服务。 每个热备组内同时只有一台主路由器提供服务其他路由器处于冗余状态。 若当前在线的路由器失效则其他路由器会根据设置的优先级自动接替虚拟IP地址继续提供服务。 在配置时设置优先级优先级高的那一方为 master。master节点承载着VIP地址。 在一个LVS服务集群中通常有主服务器MASTER和备份服务器BACKUP两种角色的服务器但是对外表现为一个虚拟IP主服务器会发送VRRP通告信息给备份服务器当备份服务器收不到VRRP消息的时候即主服务器异常的时候备份服务器就会接管虚拟IP继续提供服务从而保证了高可用性。
主服务器作用转发数据发送报文告诉备服务器自己在线。 备服务器作用监听主服务器发来的数据收不到消息的时候就接替主服务器。 1.7 Keepalived 相关文件 软件包名keepalived 主程序文件/usr/sbin/keepalived 主配置文件/etc/keepalived/keepalived.conf 配置文件示例/usr/share/doc/keepalived/ Unit File/lib/systemd/system/keepalived.service Unit File的环境配置文件/etc/sysconfig/keepalived CentOS
1.7.1 配置组成
/etc/keepalived/keepalived.conf 配置组成 GLOBAL CONFIGURATION
Global definitions全局配置定义邮件配置route_idvrrp配置组播地址 等 VRRP CONFIGURATION
VRRP instance(s)定义 vrrp 协议中的每个 vrrp 虚拟路由器的规则基本信息 LVS CONFIGURATIONlvs调度服务器的规则设置
Virtual server group(s)
Virtual server(s)LVS集群的VS和RS
1.7.2 全局配置
先安装软件 # /etc/keepalived/keepalived.conf global_defs {notification_email {rootlocalhost#keepalived 发生故障切换时邮件发送的目标邮箱可以按行区分写多个rootlocalhost2860596835qq.com }notification_email_from keepalivedlocalhost #发邮件的地址smtp_server 127.0.0.1 #邮件服务器地址smtp_connect_timeout 30 #邮件服务器连接timeoutrouter_id R1#每个keepalived主机唯一标识建议使用当前主机名但多节点重名不影响vrrp_skip_check_adv_addr #对所有通告报文都检查会比较消耗性能启用此配置后如果收到的通告报文和上一个报文是同一个路由器则跳过检查默认值为全检查
vrrp_strict
#严格遵守VRRP协议,启用此项后以下状况将无法启动服务:1.无VIP地址 2.配置了单播邻居 3.在VRRP版本2中有IPv6地址开启动此项并且没有配置 vrrp_iptables 时会自动开启iptables防火墙规则默认导致VIP无法访问,建议不加此项配置。vrrp_garp_interval 0 #gratuitous ARP messages 免费ARP报文发送延迟0表示不延迟vrrp_gna_interval 0 #unsolicited NA messages 不请自来消息发送延迟vrrp_mcast_group4 224.0.0.18 #指定组播IP地址范围224.0.0.0到239.255.255.255,默认值224.0.0.18 vrrp_iptables #此项和vrrp_strict同时开启时则不会添加防火墙规则,如果无配置vrrp_strict项,则无需启用此项配置
}
地址分类
自定义组播一般都有规划不能瞎配
主和备要一样D类 224-239#修改组播
默认keepalived主机之间利用多播相互通告消息会造成网络拥塞可以替换成单播减少网络流量
注意启用 vrrp_strict 时不能启用单播
#在所有节点vrrp_instance语句块中设置对方主机的IP建议设置为专用于对应心跳线网络的地址而非使用业务网络
全局配置细讲
[rootlocalhost keepalived]#vim keepalived.conf
global_defs {router_id HA_TEST_R2 ####本路由器的服务器名称 HA_TEST_R2
}
vrrp_instance VI_1 { ####定义VRRP热备实列state BACKUP ####热备状态backup表示辅服务器interface ens33 ####表示承载VIP地址的物理接口virtual_router_id 1 ####虚拟路由器的ID号每个热备组保持一致priority 99 ####优先级优先级越大优先级越高advert_int 1 ####通告间隔秒数心跳频率authentication { ####认证信息每个热备组保持一致auth_type PASS ####认证类型auth_pass 123456 ####认证密码}virtual_ipaddress { ####漂移地址VIP可以是多个192.168.100.10}
}#需要修改项global_defs {notification_email {acassenfirewall.locfailoverfirewall.locsysadminfirewall.loc}notification_email_from Alexandre.Cassenfirewall.locsmtp_server 127.0.0.1#修改邮箱指向自己10行smtp_connect_timeout 30router_id LVS_01#指定服务器名称主备需要不一样12行vrrp_skip_check_adv_addr#vrrp_strict#14行需要注释否则服务启动有问题vrrp_garp_interval 0vrrp_gna_interval 0
}vrrp_instance VI_1 {state MASTER#指定服务器类型MASTER为主 BACKUP为备20行interface ens33#修改网卡名称为ens3321virtual_router_id 10#指定虚拟路由器的ID号主备需要一致#nopreempt #非抢占模式两个节点都需要配置去掉注释priority 100#设定优先级数字越大优先级越高准备需要不一样advert_int 1#通告间隔查看是否存活authentication {auth_type PASS#认证类型auth_pass 123456#修改验证密码主备需要一样27行}virtual_ipaddress {192.168.44.188#指定群集vip地址}
}
virtual_server 192.168.44.188 80 {delay_loop 6#健康间隔时间6秒lb_algo rr#调度算法轮询lb_kind DR#lvs模式为DR persistence_timeout 0#连接保持时间改为0 否则 无法体现效果protocol TCP#采用协议real_server 192.168.44.10 80 {#43行修改地址为真实主机地址weight 1#45行删除#节点权重TCP_CHECK{connect_port 80#检查目标端口connect_timeout 3#连接超时 nb_get_retry 3#重试次数delay_before_retry 3#重试间隔时间}}real_server 192.168.44.20 80 {#第二个weight 1TCP_CHECK{connect_port 80connect_timeout 3nb_get_retry 3delay_before_retry 3}}1.7.3 配置虚拟路由器
vrrp_instance STRING {
#String为vrrp的实例名,一般为业务名称配置参数......}
#配置参数
state MASTER|BACKUP
#当前节点在此虚拟路由器上的初始状态状态为MASTER或者BACKUP
interface IFACE_NAME
#绑定为当前虚拟路由器使用的物理接口如eth0,bond0,br0,可以和VIP不在一个网卡
virtual_router_id VRID
#每个虚拟路由器惟一标识范围0-255每个虚拟路由器此值必须唯一否则服务无法启动同属一个虚拟路由器的多个keepalived节点必须相同,务必要确认在同一网络中此值必须唯一
priority 100
#当前物理节点在此虚拟路由器的优先级范围1-254值越大优先级越高,每个keepalived主机节点此值不同advert_int 1
#vrrp通告的时间间隔默认1sauthentication {
#认证机制auth_type AH|PASS #AH为IPSEC认证(不推荐),PASS为简单密码(建议使用)auth_pass PASSWORD #预共享密钥仅前8位有效同一个虚拟路由器的多个keepalived节点必须一样
}
include /etc/keealived/conf.d/*.conf
virtual_ipaddress {
#虚拟IP,生产环境可能指定上百个IP地址IPADDR/MASK brd IPADDR dev STRING scope SCOPE label LABEL192.168.200.100 #指定VIP不指定网卡默认为,注意不指定/prefix,默认为/32192.168.200.101/24 dev eth1 #指定VIP的网卡建议和interface指令指定的岗卡不在一个网卡192.168.200.102/24 dev eth2 label eth2:1 #指定VIP的网卡label
}
track_interface {
#配置监控网络接口一旦出现故障则转为FAULT状态实现地址转移eth0eth1…
}
二. LVS Keepalived 高可用群集 7-2 主服务器设置 做以下配置 cd /etc/keepalived/
cp keepalived.conf keepalived.conf.bak
vim keepalived.conf
......
global_defs { #定义全局参数
--10行--修改邮件服务指向本地smtp_server 127.0.0.1
--12行--修改指定服务器路由器的名称主备服务器名称须不同主为LVS_01备为LVS_02router_id LVS_01
--14行--注释掉取消严格遵守VRRP协议功能否则VIP无法被连接#vrrp_strict
}vrrp_instance VI_1 { #定义VRRP热备实例参数
--20行--修改指定热备状态主为MASTER备为BACKUPstate MASTER
--21行--修改指定承载vip地址的物理接口interface ens33
--23行--修改指定优先级数值越大优先级越高这里设置主为100备为80priority 100advert_int 1 #通告间隔秒数(心跳频率)authentication { #定义认证信息,每个热备组保持一致auth_type PASS #认证类型
--27行--修改指定验证密码可以自定义主备服务器保持一致auth_pass 123123 }virtual_ipaddress { #指定群集vip地址192.168.44.188}
}
--36行--修改指定虚拟服务器地址(VIP)、端口定义虚拟服务器和Web服务器池参数
virtual_server 192.168.44.188 80 {delay_loop 6 #健康检查的间隔时间(秒)lb_algo rr #指定调度算法轮询(rr)
--39行--修改指定群集工作模式直接路由(DR)lb_kind DRpersistence_timeout 0 #连接保持时间(秒)protocol TCP #应用服务采用的是 TCP协议
--43行--修改指定第一个Web节点的地址、端口real_server 192.168.44.30 80 {weight 1 #节点的权重
--45行--删除添加以下健康检查方式 TCP_CHECK {connect_port 80 #添加检查的目标端口connect_timeout 3 #添加连接超时(秒)nb_get_retry 3 #添加重试次数delay_before_retry 3 #添加重试间隔}}real_server 192.168.44.40 80 { #添加第二个 Web节点的地址、端口weight 1TCP_CHECK {connect_port 80connect_timeout 3nb_get_retry 3delay_before_retry 3}}
##删除后面多余的配置##
}systemctl start keepalived
ip a #查看虚拟网卡vip 启动 ipvsadm 服务 7-1 从服务器配置 修改以下配置 开启 ipvsadm 调整proc响应参数关闭linux内核的重定向参数响应 7-3 节点服务器配置
添加测试页 设置回环虚拟网卡VIP添加静态路由 设置内核参数响应参数以阻止更新VIP的MAC地址避免发生冲突 关闭长连接 7-4 节点服务器配置 关闭长连接 客户机访问测试
① 客户机直接访问VIP地址刷新网页观察是否存在负载均衡 ② 关闭DR主调度器 Keepalive服务测试备调度器是否顶替 服务依旧存在说明调度服务器已经顶替主调度服务器服务并未中断 ③ 重新开启DR主调度服务测试主调度是否抢占VIP 三.其他配置
1. 各种模式实验
抢占模式 非抢占模式 延时抢占模式
① 默认抢占模式
② 非抢占模式
注意要关闭 VIP抢占必须将各 keepalived 服务器state配置为BACKUP
主 重启之后就变成了 备 不再抢回来 ③ 延时抢占
preempt_delay 指定抢占延迟时间为#s默认延迟300s 注意需要各keepalived服务器state为BACKUP,并且不要启用 vrrp_strict
主 备 2.单播多播地址
修改多播
vrrp_mcast_group4 234.6.6.6 修改单播
主 备 抓包 3. 通知脚本
当前节点成为主节点时触发的脚本
notify_master STRING|QUOTED-STRING
当前节点转为备节点时触发的脚本
notify_backup STRING|QUOTED-STRING
当前节点转为“失败”状态时触发的脚本
notify_fault STRING|QUOTED-STRING
通用格式的通知触发机制一个脚本可完成以上三种状态的转换时的通知
notify STRING|QUOTED-STRING
当停止VRRP时触发的脚本
notify_stop STRING|QUOTED-STRING
告警机制出现意外自动运行脚本发邮件提醒你 notify_master /opt/keepalive.sh masternotify_backup /opt/keepalive.sh backupnotify_fault /opt/keepalive.sh fault
#!/bin/bash
#
contact940132245qq.com
notify() {mailsubject$(hostname) to be $1, vip floatingmailbody$(date %F %T): vrrp transition, $(hostname) changed to be $1echo $mailbody | mail -s $mailsubject $contact
}
case $1 in
master)notify master;;
backup)notify backup;;
fault)notify fault;;
*)echo Usage: $(basename $0) {master|backup|fault}exit 1;;
esac 可以模拟 master 故障 4. 日志功能 在配置文件添加以下内容 自定义日志位置 重启服务 查看日志
四.高可用群集的脑裂现象和预防措施
4.1 现象和原因
现象
在双机热备高可用HA系统中当联系两个节点的心跳线断开时(即两个节点断开联系时)本来为一个整体、动作协调的HA系统就分裂成为两个独立的节点(即两个独立的个体)。由于相互失去了联系都以为是对方出了故障此时备用调度器会运转起来争做主调度器的工作而主调度器依然保持着调度工作两个调度的同时运转导致整个系统的紊乱。就会发生严重后果1共享资源被瓜分、两边服务都起不来了.(2或者两边服务都起来了但同时读写共享存储导致数据损坏常见如数据库轮询着的联机日志出错。
原因
硬件原因
1. 高可用服务器各节点之间心跳线链路发生故障导致无法正常通信。 2. 因心跳线坏了包括断了老化。 3. 因网卡及相关驱动坏了ip配置及冲突问题网卡直连。 4. 因心跳线间连接的设备故障网卡及交换机。 5. 因仲裁的机器出问题采用仲裁的方案。
运用配置原因
6. 高可用服务器上开启了 iptables 防火墙阻挡了心跳消息传输。 7. 高可用服务器上心跳网卡地址等信息配置不正确导致发送心跳失败。 8. 其他服务配置不当等原因如心跳方式不同心跳广插冲突、软件Bug等
9. Keepalived 配置里同一VRRP实例如果 virtual_router_id 两端参数配置不一致也会导致裂脑问题发生。
4.2 脑裂预防
针对脑裂现象的产生运维人员第一时间要做的不是处理发生故障的调度器或则故障线路而是首先确保业务不会因此中断进行脑裂的预防尤为重要。出现问题先保证业务的进行再进行排障。
方式一添加冗余的心跳线
添加冗余的心跳线支持HA多线路的进行在多线路的加持下一条线路故障后也会有其余的线路也可传输心跳信息让主备调度器继续保持正常运转。此方案可减少脑裂产生的概率。 方式二脚本配合周期任务计划检测调度器自我裁决
脑裂分析产生脑裂的最主要最常见的原因是备调度器接收不到主调度器的的心跳信息。首先调度器大多数情况下都会是在统一局域网中是通过网络来进行心跳信息的传送。所以心跳信息的检测可以基于icmp协议来进行检测
脚本思路 如下图若产生脑裂时我们需要探究的是通过脚本预测是1号线路的问题还是2号线路的问题 。所以本次脚本的编写只要能判断出哪条线路产生问题后进行相应的裁决就可以在脑裂产生的第一时间免除其带来的影响 1 主调度器本身使用ping命令进行周期计划ping备用调度器保证时刻畅通。
2采用条件判断语句若主调调度器ping不通备调度器时主调度器启用ssh服务远程借用节点服务器对备用调度器进行ping命令可以多设置几台节点服务器ping确保准确性。若节点服务能ping通则说明问题出现在1号线路主调度器进行自我裁决让备调度器进行主调调度器的工作。若节点服务器也ping不通备调度器说明问题出在了2号线路。
3可以在备调度器中也添加一个该方式的脚本时刻ping主调度器。保证2号线出现问题时进行自我裁决。
4将主备调度器的脚本均添加周期计划任务中crontab -e进行合理的时间段检测。
方式三第三方工具监控软件
利用主流的监控软件例如 zabbix。当两个节点出现分歧时由第3方的仲裁者决定听谁的。这个仲裁者可能是一个锁服务一个共享盘或者其它什么东西。例如设置参考IP如网关IP当心跳线完全断开时2个节点都各自ping一下参考IP不通则表明断点就出在本端。不仅心跳、还兼对外服务的本端网络链路断了即使启动或继续应用服务也没有用了那就主动放弃竞争让能够ping通参考IP的一端去起服务。更保险一些ping不通参考IP的一方干脆就自我重启以彻底释放有可能还占用着的那些共享资源。
方式四启用磁盘锁 正在服务一方锁住共享磁盘裂脑发生时让对方完全抢不走共享磁盘资源。但使用锁磁盘也会有一个不小的问题如果占用共享盘的一方不主动解锁另一方就永远得不到共享磁盘。现实中假如服务节点突然死机或崩溃就不可能执行解锁命令。后备节点也就接管不了共享资源和应用服务。于是有人在HA中设计了智能锁。即正在服务的一方只在发现心跳线全部断开察觉不到对端时才启用磁盘锁。平时就不上锁了。 五. 实现其它应用的高可用性 VRRP Script
keepalived 利用 VRRP Script 技术可以调用外部的辅助脚本进行资源监控并根据监控的结果实现优先动态调整从而实现其它应用的高可用性功能。 #!/bin/bash
ng$(ps -elf |grep nginx |egrep -cv grep|$$)if [ $ng -eq 0 ]
then
systemctl stop keealived
fi直接用 killall -0 nginx 显示效果
5.1 VRRP Script 配置
定义脚本
vrrp_script自定义资源监控脚本vrrp实例根据脚本返回值公共定义可被多个实例调用定义在vrrp实例之外的独立配置块一般放在global_defs设置块之后。通常此脚本用于监控指定应用的状态。一旦发现应用的状态异常则触发对MASTER节点的权重减至低于SLAVE节点从而实现 VIP 切换到 SLAVE 节点
vrrp_script SCRIPT_NAME {script STRING|QUOTED-STRING #此脚本返回值为非0时会触发下面OPTIONS执行OPTIONS
}
调用脚本
track_script调用vrrp_script定义的脚本去监控资源定义在VRRP实例之内调用事先定义的vrrp_script
track_script {SCRIPT_NAME_1SCRIPT_NAME_2
}
5.2 定义VRRP Script
vrrp_script SCRIPT_NAME { #定义一个检测脚本在global_defs 之外配置script STRING|QUOTED-STRING #shell命令或脚本路径(注意执行权限)interval INTEGER #间隔时间单位为秒默认1秒timeout INTEGER #超时时间weight INTEGER:-254..254 #默认为0,如果设置此值为负数当上面脚本返回值为非0时会将此值与本节点权重相加可以降低本节点权重即表示fall. 如果是正数当脚本返回值为0会将此值与本节点权重相加可以提高本节点权重即表示 rise.通常使用负值fall INTEGER #执行脚本连续几次都失败,则转换为失败建议设为2以上rise INTEGER #执行脚本连续几次都成功把服务器从失败标记为成功user USERNAME [GROUPNAME] #执行监测脚本的用户或组 init_fail #设置默认标记为失败状态监测成功之后再转换为成功状态
}
操作
nginx keepalive
nginx 配置 测试一下是否实现负载均衡和反向代理 将 keepalive 和 nginx 使用
编写脚本 编写配置文件 配置备服务器 重新启动服务 测试 将主停掉 备顶上 测试
文章转载自： http://www.morning.nqdkx.cn.gov.cn.nqdkx.cn http://www.morning.gsjzs.cn.gov.cn.gsjzs.cn http://www.morning.nzcys.cn.gov.cn.nzcys.cn http://www.morning.jyyw.cn.gov.cn.jyyw.cn http://www.morning.bkpbm.cn.gov.cn.bkpbm.cn http://www.morning.mdlqf.cn.gov.cn.mdlqf.cn http://www.morning.qnxzx.cn.gov.cn.qnxzx.cn http://www.morning.srnth.cn.gov.cn.srnth.cn http://www.morning.snnkt.cn.gov.cn.snnkt.cn http://www.morning.rgrdd.cn.gov.cn.rgrdd.cn http://www.morning.kvzvoew.cn.gov.cn.kvzvoew.cn http://www.morning.rybr.cn.gov.cn.rybr.cn http://www.morning.lyhry.cn.gov.cn.lyhry.cn http://www.morning.ppqzb.cn.gov.cn.ppqzb.cn http://www.morning.nxrgl.cn.gov.cn.nxrgl.cn http://www.morning.btlsb.cn.gov.cn.btlsb.cn http://www.morning.qqklk.cn.gov.cn.qqklk.cn http://www.morning.wqcz.cn.gov.cn.wqcz.cn http://www.morning.ddjp.cn.gov.cn.ddjp.cn http://www.morning.hhrpy.cn.gov.cn.hhrpy.cn http://www.morning.dspqc.cn.gov.cn.dspqc.cn http://www.morning.jwdys.cn.gov.cn.jwdys.cn http://www.morning.lkhgq.cn.gov.cn.lkhgq.cn http://www.morning.bpmtj.cn.gov.cn.bpmtj.cn http://www.morning.kllzy.com.gov.cn.kllzy.com http://www.morning.hclplus.com.gov.cn.hclplus.com http://www.morning.wkwds.cn.gov.cn.wkwds.cn http://www.morning.xkjrs.cn.gov.cn.xkjrs.cn http://www.morning.ghrhb.cn.gov.cn.ghrhb.cn http://www.morning.xjtnp.cn.gov.cn.xjtnp.cn http://www.morning.fpxyy.cn.gov.cn.fpxyy.cn http://www.morning.sbrpz.cn.gov.cn.sbrpz.cn http://www.morning.gjssk.cn.gov.cn.gjssk.cn http://www.morning.qpmwb.cn.gov.cn.qpmwb.cn http://www.morning.xdjwh.cn.gov.cn.xdjwh.cn http://www.morning.yrjxr.cn.gov.cn.yrjxr.cn http://www.morning.rggky.cn.gov.cn.rggky.cn http://www.morning.ckwxs.cn.gov.cn.ckwxs.cn http://www.morning.mtmnk.cn.gov.cn.mtmnk.cn http://www.morning.hgscb.cn.gov.cn.hgscb.cn http://www.morning.phlrp.cn.gov.cn.phlrp.cn http://www.morning.qwfl.cn.gov.cn.qwfl.cn http://www.morning.jrslj.cn.gov.cn.jrslj.cn http://www.morning.ykgkh.cn.gov.cn.ykgkh.cn http://www.morning.nnwnl.cn.gov.cn.nnwnl.cn http://www.morning.wlsrd.cn.gov.cn.wlsrd.cn http://www.morning.hydkd.cn.gov.cn.hydkd.cn http://www.morning.dlurfdo.cn.gov.cn.dlurfdo.cn http://www.morning.rnnwd.cn.gov.cn.rnnwd.cn http://www.morning.mnwmj.cn.gov.cn.mnwmj.cn http://www.morning.ghyfm.cn.gov.cn.ghyfm.cn http://www.morning.gsksm.cn.gov.cn.gsksm.cn http://www.morning.fbqr.cn.gov.cn.fbqr.cn http://www.morning.rgksz.cn.gov.cn.rgksz.cn http://www.morning.kpgms.cn.gov.cn.kpgms.cn http://www.morning.rzcmn.cn.gov.cn.rzcmn.cn http://www.morning.pqkgb.cn.gov.cn.pqkgb.cn http://www.morning.jrlxz.cn.gov.cn.jrlxz.cn http://www.morning.ccphj.cn.gov.cn.ccphj.cn http://www.morning.cnfxr.cn.gov.cn.cnfxr.cn http://www.morning.yjmns.cn.gov.cn.yjmns.cn http://www.morning.qmkyp.cn.gov.cn.qmkyp.cn http://www.morning.snnb.cn.gov.cn.snnb.cn http://www.morning.kjmcq.cn.gov.cn.kjmcq.cn http://www.morning.gcdzp.cn.gov.cn.gcdzp.cn http://www.morning.tkzrh.cn.gov.cn.tkzrh.cn http://www.morning.qgmbx.cn.gov.cn.qgmbx.cn http://www.morning.jgykx.cn.gov.cn.jgykx.cn http://www.morning.ppwdh.cn.gov.cn.ppwdh.cn http://www.morning.krqhw.cn.gov.cn.krqhw.cn http://www.morning.jmwrj.cn.gov.cn.jmwrj.cn http://www.morning.xhqr.cn.gov.cn.xhqr.cn http://www.morning.tcxzn.cn.gov.cn.tcxzn.cn http://www.morning.xjpnq.cn.gov.cn.xjpnq.cn http://www.morning.wpcfh.cn.gov.cn.wpcfh.cn http://www.morning.ybgt.cn.gov.cn.ybgt.cn http://www.morning.kxrhj.cn.gov.cn.kxrhj.cn http://www.morning.mdtfh.cn.gov.cn.mdtfh.cn http://www.morning.rrxnz.cn.gov.cn.rrxnz.cn http://www.morning.lhxkl.cn.gov.cn.lhxkl.cn
