丰都集团网站建设,微信公众号开发者中心,wordpress5.2附加域,域名解析错误是网络问题还是电脑问题Web HA集群部署 - Heartbeat1. Heartbeat 概述1.1 Heartbeat主要组成部分2. 环境依赖2.1 环境及组件软件2.2 关闭firewalld selinux2.3 配置双机互信#xff0c;SSH密钥登录2.4 同步时间#xff08;以主节点时间为准#xff09;2.5 配置域名解析3 安装软件3.1 安装…
Web HA集群部署 - Heartbeat1. Heartbeat 概述1.1 Heartbeat主要组成部分2. 环境依赖2.1 环境及组件软件2.2 关闭firewalld selinux2.3 配置双机互信SSH密钥登录2.4 同步时间以主节点时间为准2.5 配置域名解析3 安装软件3.1 安装基础环境包3.2 创建用户和组3.3 组件软件下载3.4 安装gule3.5 安装Resource Agents3.6 安装HeartBeat3.7 配置网卡支持插件文件4 配置heartbeat4.1 配置ha.cf配置文件4.2 配置authkeys配置文件4.3 配置haresources配置文件4.4 从节点上准备配置文件4.5 安装httpd服务4.6 启动heartbeat服务5 验证5.1 关闭主节点5.2 使用自带的脚本切换主备节点6 总结1. Heartbeat 概述
Heartbeat 项目是 Linux-HA 工程的一个组成部分它实现了一个高可用集群系统。通过Heartbeat我们可以实现双机热备以实现服务的持续性。
1.1 Heartbeat主要组成部分
Heartbeat最核心的功能是心跳监测部分和资源接管部分.心跳监测可以通过网络链路和串口进行,而且支持冗余链路,它们之间相互发送报文来告诉对方自己当前的状态,如果在指定的时间内未收到对方发送的报文,那么就认为对方失效,这时需启动资源接管模块来接管运行在对方主机上的资源或者服务.Heartbea是基于主机名来切换节点,通过字符串加密来认证两台主机连接,与keepalived不同是它可以基于脚本资源切换,文件共享,是通过tcp协议对资源切换.
2. 环境依赖
2.1 环境及组件软件
服务器环境: node1192.168.71.183 node2192.168.71.253 漂移Vip192.168.71.254即我们访问服务的ip服务:apache系统版本CentOS Linux release 7.9.2009 (Core)
具体的实施工作在本章第三小节
2.2 关闭firewalld selinux
关闭firewalld selinux
[rootheartbeat-master ~]# systemctl stop firewalld
[rootheartbeat-master ~]# setenforce 0 #此为临时关闭
setenforce: SELinux is disabled
[rootheartbeat-master ~]# sed -i s#SELINUXenforcing#SELINUXdisabled# /etc/sysconfig/selinux #此为永久关闭下次重启机器后生效 2.3 配置双机互信SSH密钥登录
主从节点均要配置双机互信
[rootnode2 ~]# ssh-keygen -q -t rsa -N -f ~/.ssh/id_rsa
[rootnode2 ~]# ssh-copy-id root192.168.71.183
/usr/bin/ssh-copy-id: INFO: Source of key(s) to be installed: /root/.ssh/id_rsa.pub
/usr/bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to filter out any that are already installed
/usr/bin/ssh-copy-id: INFO: 1 key(s) remain to be installed -- if you are prompted now it is to install the new keys
root192.168.71.183s password:Number of key(s) added: 1Now try logging into the machine, with: ssh root192.168.71.183
and check to make sure that only the key(s) you wanted were added.[rootnode2 ~]# ssh root192.168.71.183
Last login: Wed Mar 1 03:50:06 2023 from 192.168.20.252
[rootnode1 ~]# exit2.4 同步时间以主节点时间为准
所有节点安装ntp可以选择任何一台机器当ntp时间服务器其他的节点当时间服务器的客户端同步服务器时间 这里我们选择node1作为时间服务器
① 所有节点安装ntp服务
[rootnode1 ~]# yum install -y ntp② node1服务器配置/etc/ntp.conf
#server 0.centos.pool.ntp.org iburst #注释内容
#server 1.centos.pool.ntp.org iburst #注释内容
#server 2.centos.pool.ntp.org iburst #注释内容
#server 3.centos.pool.ntp.org iburst #注释内容
server 127.127.1.0 #新增内容
fudge 127.127.1.0 stratum 10 #新增内容③ node1服务器启动ntpd服务
[rootnode1 ~]# systemctl start ntpd
[rootnode1 ~]# systemctl status ntpd
[rootnode1 ~]# systemctl enable ntpd
Created symlink from /etc/systemd/system/multi-user.target.wants/ntpd.service to /usr/lib/systemd/system/ntpd.service.④ 其他节点
[rootnode2 ~]# ntpdate 192.168.71.1831 Mar 04:08:35 ntpdate[16984]: step time server 192.168.71.183 offset -9.393691 sec
[rootnode2 ~]# date
Wed Mar 1 04:08:40 EST 20232.5 配置域名解析
所有节点配置域名解析
[rootnode2 ~]# tail -2 /etc/hosts
192.168.71.183 node1
192.168.71.253 node2
192.168.71.254 apache.org
[rootnode2 ~]# ping node2
PING node2 (192.168.71.253) 56(84) bytes of data.
64 bytes from node2 (192.168.71.253): icmp_seq1 ttl64 time0.029 ms
64 bytes from node2 (192.168.71.253): icmp_seq2 ttl64 time0.031 ms3 安装软件
本节的安装及配置的内容在所有节点都需要操作
3.1 安装基础环境包
yum install gcc gcc-c autoconf automake libtool glib2-devel libxml2-devel bzip2 bzip2-devel e2fsprogs-devel libxslt-devel libtool-ltdl-devel asciidoc -y3.2 创建用户和组
[rootnode2 ha]# groupadd haclient
[rootnode2 ha]# useradd -g haclient hacluster
[rootnode2 ha]# tail -1 /etc/passwd
hacluster:x:1017:1017::/home/hacluster:/bin/bash
[rootnode2 ha]# tail -1 /etc/group
haclient:x:1017:3.3 组件软件下载
官网下载地址 http://www.linux-ha.org/wiki/Downloads Heartbeat 3.0.6 Cluster Glue 1.0.12 Resource Agents [rootnode2 ~]# wget -O Heartbeat_3.0.6.tar.bz2 http://hg.linux-ha.org/heartbeat-STABLE_3_0/archive/958e11be8686.tar.bz2
--2023-03-01 04:20:57-- http://hg.linux-ha.org/heartbeat-STABLE_3_0/archive/958e11be8686.tar.bz2
Resolving hg.linux-ha.org (hg.linux-ha.org)... 78.142.182.100
Connecting to hg.linux-ha.org (hg.linux-ha.org)|78.142.182.100|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 551953 (539K) [application/x-bzip2]
Saving to: ‘Heartbeat_3.0.6.tar.bz2’100%[] 551,953 233KB/s in 2.3s2023-03-01 04:21:04 (233 KB/s) - ‘Heartbeat_3.0.6.tar.bz2’ saved [551953/551953][rootnode2 ~]# wget http://hg.linux-ha.org/glue/archive/0a7add1d9996.tar.bz2
[rootnode2 ~]# wget https://github.com/ClusterLabs/resource-agents/archive/v3.9.6.tar.gz
[rootnode1 ha]# ll
total 2492
-rw-r--r-- 1 root root 451432 Oct 22 2015 0a7add1d9996.tar.bz2
-rw-r--r-- 1 root root 551953 Feb 28 10:54 Heartbeat_3.0.6.tar.bz2
-rw-r--r-- 1 root root 617790 Mar 1 04:41 v3.9.6.tar.gz
3.4 安装gule
[rootnode1 ~]# tar xf 0a7add1d9996.tar.bz2
[rootnode1 ~]# cd Reusable-Cluster-Components-glue--0a7add1d9996/
[rootnode1 Reusable-Cluster-Components-glue--0a7add1d9996]#./autogen.sh
[rootnode1 Reusable-Cluster-Components-glue--0a7add1d9996]#./configure --prefix/usr/local/heartbeat --with-daemon-userhacluster --with-daemon-grouphaclient --enable-fatal-warningsno LIBS/lib64/libuuid.so.1
[rootnode1 Reusable-Cluster-Components-glue--0a7add1d9996]# make make install3.5 安装Resource Agents
[rootnode1 ~]# tar xf v3.9.6.tar.gz
[rootnode1 ~]# cd resource-agents-3.9.6/
[rootnode1 resource-agents-3.9.6]# ./autogen.sh
[rootnode1 resource-agents-3.9.6]# ./configure --prefix/usr/local/heartbeat --with-daemon-userhacluster --with-daemon-grouphaclient --enable-fatal-warningsno LIBS/lib64/libuuid.so.1
[rootnode1 resource-agents-3.9.6]# make make install3.6 安装HeartBeat
[rootnode1 ~]# tar xf Heartbeat_3.0.6.tar.bz2
[rootnode1 ~]# cd Heartbeat-3-0-958e11be8686/
[rootnode1 Heartbeat-3-0-958e11be8686]# ./bootstrap
[rootnode1 Heartbeat-3-0-958e11be8686]# export CFLAGS$CFLAGS -I/usr/local/heartbeat/include -L/usr/local/heartbeat/lib
[rootnode1 Heartbeat-3-0-958e11be8686]# ./configure --prefix/usr/local/heartbeat --with-daemon-userhacluster --with-daemon-grouphaclient --enable-fatal-warningsno LIBS/lib64/libuuid.so.1
[rootnode1 Heartbeat-3-0-958e11be8686]# make make install3.7 配置网卡支持插件文件
[rootnode1 ha]# mkdir -pv /usr/local/heartbeat/usr/lib/ocf/lib/heartbeat/
mkdir: created directory ‘/usr/local/heartbeat/usr’
mkdir: created directory ‘/usr/local/heartbeat/usr/lib’
mkdir: created directory ‘/usr/local/heartbeat/usr/lib/ocf’
mkdir: created directory ‘/usr/local/heartbeat/usr/lib/ocf/lib’
mkdir: created directory ‘/usr/local/heartbeat/usr/lib/ocf/lib/heartbeat/’
[rootnode1 ha]# cp /usr/lib/ocf/lib/heartbeat/ocf-* /usr/local/heartbeat/usr/lib/ocf/lib/heartbeat/#注意一般启动时会报错因为 ping和ucast这些配置都需要插件支持 需要将lib64下面的插件软连接到lib目录 才不会抛出异常[rootnode1 ha]# ln -svf /usr/local/heartbeat/lib64/heartbeat/plugins/RAExec/* /usr/local/heartbeat/lib/heartbeat/plugins/RAExec/
‘/usr/local/heartbeat/lib/heartbeat/plugins/RAExec/*’ - ‘/usr/local/heartbeat/lib64/heartbeat/plugins/RAExec/*’
[rootnode1 ha]# ln -svf /usr/local/heartbeat/lib64/heartbeat/plugins/* /usr/local/heartbeat/lib/heartbeat/plugins/
‘/usr/local/heartbeat/lib/heartbeat/plugins/HBauth’ - ‘/usr/local/heartbeat/lib64/heartbeat/plugins/HBauth’
‘/usr/local/heartbeat/lib/heartbeat/plugins/HBcomm’ - ‘/usr/local/heartbeat/lib64/heartbeat/plugins/HBcomm’
‘/usr/local/heartbeat/lib/heartbeat/plugins/quorum’ - ‘/usr/local/heartbeat/lib64/heartbeat/plugins/quorum’4 配置heartbeat
在主节点上配置
#拷贝三个模版配置文件到 /usr/local/heartbeat/etc/ha.d 目录下
[rootnode1 ha]# cd Heartbeat-3-0-958e11be8686/
[rootnode1 Heartbeat-3-0-958e11be8686]# cp doc/{ha.cf,haresources,authkeys} /usr/local/heartbeat/etc/ha.d/4.1 配置ha.cf配置文件
该配置文件是心跳的核心配置
[rootheartbeat-master ~]# vim /usr/local/heartbeat/etc/ha.d/ha.cfdebugfile /var/log/ha-debug #表示调试的日志文件 一般测试建议开启
logfile /var/log/ha-log #表示系统的的日志文件路径
logfacility local0 #表示使用系统日志与上面只能开启一个
keepalive 2 #主备之间的心跳间隔时间单位:s
deadtime 30 #表示如果连接对方30s还无法连接表示节点死亡需要考虑vip转移
warntime 10 #表示10s时间未收到心跳时发出警告日志
initdead 120 #有时机器启动后需要一段时间网卡才能正常工作 需要预留一定的时间后再开始判断心跳检测
udpport 694 #多播的udp端口
#baud 19200 #串行端口的波特率
#serial /dev/ttyS0 # Linux #串口的接口名
#serial /dev/cuaa0 # FreeBSD
#serial /dev/cuad0 # FreeBSD 6.x
#serial /dev/cua/a # Solaris
#bcast eth0 # Linux #传播心跳的广播网卡信息
#bcast eth1 eth2 # Linux
#bcast le0 # Solaris
#bcast le1 le2 # Solaris
#mcast eth0 225.0.0.1 694 1 0 #多播传送心跳的网卡 多播组 端口 跃点数 是否回环内传送
ucast ens33 192.168.71.253 #设置单播心跳设置对方的ip地址,此处使用单播
auto_failback on #表示如果主机停止后从机接管设置为on当主机从新启动后主机立即接管vip off从机不会释放vip给主机
node node1 #配置主从的节点信息要与uname -n保持一致
node node2
#############################################
#使用ping模式 有时当主机挂掉或者heartbeat挂掉后vip才会转移 有时出现某个进程挂掉 切换需要使用脚本
#ping模式用于测试 如果网卡ping不同 某个主机 就认为当前断网 需要转移vip
#respawn root /usr/local/heartbeat/libexec/heartbeat/ipfail 表示当ping不通时 自动调用 ipfail这个脚本
#apiauth ipfail gidhaclient uidhacluster 表示有权限操作ipfail脚本的组和用户
############################################
ping 192.168.71.254
#ping组的所有主机
#ping_group group1 10.10.10.254 10.10.10.253
#respawn userid /path/name/to/run
#指定与heartbeat一同启动和关闭的进程该进程被自动监视遇到故障则重新启动。最常用的进程是ipfail该进程用于检测和处理网络故障需要配合ping语句指定的ping node来检测网络连接。如果你的系统是64bit请注意该文件的路径。
#respawn hacluster /usr/local/heartbeat/libexec/heartbeat/ipfail
#apiauth ipfail gidhaclient uidhacluster4.2 配置authkeys配置文件
该文件表示发送心跳时 机器用于验证的key的hash算法节点之间必须配置成一致的密码
[rootnode1 ha]# cat /usr/local/heartbeat/etc/ha.d/authkeys
...
#
auth 2 #表示使用id为2的验证 下边需要定义一个2的验证算法
#1 crc
2 sha1 1a2b3c #id为2的验证加密为sha1,并添加密码
#3 md5 Hello!
[rootnode1 ha]# chmod 600 /usr/local/heartbeat/etc/ha.d/authkeys #更改权限为6004.3 配置haresources配置文件
该文件表示资源的管理如果是主机当主机启动后自动加载该文件中配置的所有启动资源资源脚本默认在haresources同级目录下的resource.d目录下
指定节点主机名和VIP地址以双冒号分隔资源此处以apache为例进行配置
[rootnode1 ha]# tail -1 /usr/local/heartbeat/etc/ha.d/haresources
node1 192.168.71.254 apache::/etc/httpd/conf/httpd.conf4.4 从节点上准备配置文件
拷贝三个配置好的文件到node2上只需修改ha.cf配置文件中的单播地址为对方地址即可(ucast ens33 192.168.71.183)。
[rootnode2 ha.d]# scp root192.168.71.183:/usr/local/heartbeat/etc/ha.d/authkeys .
authkeys 100% 647 608.9KB/s 00:00
[rootnode2 ha.d]# scp root192.168.71.183:/usr/local/heartbeat/etc/ha.d/ha.cf .
ha.cf 100% 10KB 787.7KB/s 00:00
[rootnode2 ha.d]# scp root192.168.71.183:/usr/local/heartbeat/etc/ha.d/haresources .
haresources 100% 5955 4.1MB/s 00:00
[rootnode2 ha.d]# ll
total 40
-rw------- 1 root root 647 Mar 1 08:26 authkeys
-rw-r--r-- 1 root root 10496 Mar 1 08:27 ha.cf
-rwxr-xr-x 1 root root 745 Mar 1 05:29 harc
-rw-r--r-- 1 root root 5955 Mar 1 08:27 haresources
drwxr-xr-x 2 root root 101 Mar 1 05:29 rc.d
-rw-r--r-- 1 root root 692 Mar 1 05:29 README.config
drwxr-xr-x 2 root root 4096 Mar 1 05:29 resource.d
-rw-r--r-- 1 root root 2112 Mar 1 05:28 shellfuncs
[rootnode2 ha.d]# grep ucast ha.cf
# of nodes listed {node ...} one of {serial, bcast, mcast, or ucast},
# What UDP port to use for bcast/ucast communication?
# ucast [dev] [peer-ip-addr]
ucast ens33 192.168.71.1834.5 安装httpd服务
在每个节点上安装httpd服务并测试以主节点为例
[rootnode1 ~]# yum install httpd
[rootnode1 ~]# echo Welcome to svr 183. /var/www/html/index.html
[rootnode1 ~]# systemctl start httpd
[rootnode1 ~]# curl 127.0.0.1:88
Welcome to svr 183.此处笔者服务器由于端口冲突修改为88
测试httpd服务正常后关闭httpd服务并关闭自启动
[rootnode1 ~]# systemctl stop httpd
[rootnode1 ~]# systemctl disable httpd4.6 启动heartbeat服务
启动每个节点上heartbeat服务
[rootnode2 ha.d]# systemctl enable heartbeat
Created symlink from /etc/systemd/system/multi-user.target.wants/heartbeat.service to /usr/lib/systemd/system/heartbeat.service.
[rootnode2 ha.d]# systemctl start heartbeat
[rootnode2 ha.d]# systemctl status heartbeat
● heartbeat.service - Heartbeat High Availability Cluster Communication and MembershipLoaded: loaded (/usr/lib/systemd/system/heartbeat.service; enabled; vendor preset: disabled)Active: active (running) since Wed 2023-03-01 08:51:29 EST; 11s agoMain PID: 39209 (heartbeat)...5 验证
我们访问192.168.71.254:88
5.1 关闭主节点
关闭主节点后刷新网页可以看到服务是由从节点提供的 当我们再次开启主节点服务器服务又会回到主节点提供
对于我们访问的漂移ip会因为主节点的上下线在主从节点间自动切换
[rootnode1 ~]# ip a
...
2: ens33: BROADCAST,MULTICAST,UP,LOWER_UP mtu 1500 qdisc pfifo_fast state UNKNOWN group default qlen 1000link/ether 00:0c:29:79:08:6b brd ff:ff:ff:ff:ff:ffinet 192.168.71.183/24 brd 192.168.71.255 scope global noprefixroute dynamic ens33valid_lft 86347sec preferred_lft 86347secinet 192.168.71.254/24 brd 192.168.71.255 scope global secondary ens33:1valid_lft forever preferred_lft foreverinet6 fe80::3872:4f8b:dbfc:1aa2/64 scope link noprefixroutevalid_lft forever preferred_lft forever
...5.2 使用自带的脚本切换主备节点
主节点
[rootnode1 ~]# /usr/local/heartbeat/share/heartbeat/hb_standby
Going standby [all].
[rootnode1 ~]# ip a
...
2: ens33: BROADCAST,MULTICAST,UP,LOWER_UP mtu 1500 qdisc pfifo_fast state UNKNOWN group default qlen 1000link/ether 00:0c:29:79:08:6b brd ff:ff:ff:ff:ff:ffinet 192.168.71.183/24 brd 192.168.71.255 scope global noprefixroute dynamic ens33valid_lft 86137sec preferred_lft 86137secinet6 fe80::3872:4f8b:dbfc:1aa2/64 scope link noprefixroutevalid_lft forever preferred_lft forever
...从节点
[rootnode2 ~]# ip a
...
2: ens33: BROADCAST,MULTICAST,UP,LOWER_UP mtu 1500 qdisc pfifo_fast state UNKNOWN group default qlen 1000link/ether 00:0c:29:09:d2:72 brd ff:ff:ff:ff:ff:ffinet 192.168.71.253/24 brd 192.168.71.255 scope global noprefixroute ens33valid_lft forever preferred_lft foreverinet 192.168.71.254/24 brd 192.168.71.255 scope global secondary ens33:1valid_lft forever preferred_lft foreverinet6 fe80::20c:29ff:fe09:d272/64 scope linkvalid_lft forever preferred_lft forever
...6 总结
整个集群通过vip提供对外服务当主节点出现异常的时候能够自动在从节点启动并提供服务实现了高可用性。 我们可以部署zabbix进行监控服务器和服务的状况并通过其他手段进行通知运维人员 文章转载自： http://www.morning.srmdr.cn.gov.cn.srmdr.cn http://www.morning.gtqws.cn.gov.cn.gtqws.cn http://www.morning.dmfdl.cn.gov.cn.dmfdl.cn http://www.morning.lqytk.cn.gov.cn.lqytk.cn http://www.morning.lnsnyc.com.gov.cn.lnsnyc.com http://www.morning.wncb.cn.gov.cn.wncb.cn http://www.morning.nngq.cn.gov.cn.nngq.cn http://www.morning.mcpdn.cn.gov.cn.mcpdn.cn http://www.morning.bpmfn.cn.gov.cn.bpmfn.cn http://www.morning.zstry.cn.gov.cn.zstry.cn http://www.morning.ldsgm.cn.gov.cn.ldsgm.cn http://www.morning.srhqm.cn.gov.cn.srhqm.cn http://www.morning.hbhnh.cn.gov.cn.hbhnh.cn http://www.morning.mrbmc.cn.gov.cn.mrbmc.cn http://www.morning.bpmnh.cn.gov.cn.bpmnh.cn http://www.morning.ypklb.cn.gov.cn.ypklb.cn http://www.morning.lwsct.cn.gov.cn.lwsct.cn http://www.morning.ppqzb.cn.gov.cn.ppqzb.cn http://www.morning.tnyanzou.com.gov.cn.tnyanzou.com http://www.morning.jxfmn.cn.gov.cn.jxfmn.cn http://www.morning.jqrp.cn.gov.cn.jqrp.cn http://www.morning.dmchips.com.gov.cn.dmchips.com http://www.morning.hjjhjhj.com.gov.cn.hjjhjhj.com http://www.morning.ntqnt.cn.gov.cn.ntqnt.cn http://www.morning.zpqlf.cn.gov.cn.zpqlf.cn http://www.morning.sftrt.cn.gov.cn.sftrt.cn http://www.morning.slwfy.cn.gov.cn.slwfy.cn http://www.morning.jnhhc.cn.gov.cn.jnhhc.cn http://www.morning.bzgpj.cn.gov.cn.bzgpj.cn http://www.morning.jlktz.cn.gov.cn.jlktz.cn http://www.morning.wsrcy.cn.gov.cn.wsrcy.cn http://www.morning.tmbfz.cn.gov.cn.tmbfz.cn http://www.morning.dlwzm.cn.gov.cn.dlwzm.cn http://www.morning.yzsdp.cn.gov.cn.yzsdp.cn http://www.morning.fcrw.cn.gov.cn.fcrw.cn http://www.morning.dmwck.cn.gov.cn.dmwck.cn http://www.morning.rgsgk.cn.gov.cn.rgsgk.cn http://www.morning.nlywq.cn.gov.cn.nlywq.cn http://www.morning.egmux.cn.gov.cn.egmux.cn http://www.morning.myxps.cn.gov.cn.myxps.cn http://www.morning.ldqrd.cn.gov.cn.ldqrd.cn http://www.morning.lxfyn.cn.gov.cn.lxfyn.cn http://www.morning.wdpbq.cn.gov.cn.wdpbq.cn http://www.morning.rxwnc.cn.gov.cn.rxwnc.cn http://www.morning.xjkr.cn.gov.cn.xjkr.cn http://www.morning.htbbp.cn.gov.cn.htbbp.cn http://www.morning.sdkaiyu.com.gov.cn.sdkaiyu.com http://www.morning.dgknl.cn.gov.cn.dgknl.cn http://www.morning.plqqp.cn.gov.cn.plqqp.cn http://www.morning.kpbn.cn.gov.cn.kpbn.cn http://www.morning.kzqpn.cn.gov.cn.kzqpn.cn http://www.morning.frfnb.cn.gov.cn.frfnb.cn http://www.morning.stph.cn.gov.cn.stph.cn http://www.morning.rckdq.cn.gov.cn.rckdq.cn http://www.morning.gycyt.cn.gov.cn.gycyt.cn http://www.morning.wyfpc.cn.gov.cn.wyfpc.cn http://www.morning.bfgbz.cn.gov.cn.bfgbz.cn http://www.morning.zglrl.cn.gov.cn.zglrl.cn http://www.morning.wqkzf.cn.gov.cn.wqkzf.cn http://www.morning.jlxqx.cn.gov.cn.jlxqx.cn http://www.morning.jpmcb.cn.gov.cn.jpmcb.cn http://www.morning.hnrdtz.com.gov.cn.hnrdtz.com http://www.morning.tsrg.cn.gov.cn.tsrg.cn http://www.morning.rkck.cn.gov.cn.rkck.cn http://www.morning.skqfx.cn.gov.cn.skqfx.cn http://www.morning.qphgp.cn.gov.cn.qphgp.cn http://www.morning.rrgm.cn.gov.cn.rrgm.cn http://www.morning.mnjwj.cn.gov.cn.mnjwj.cn http://www.morning.zqcgt.cn.gov.cn.zqcgt.cn http://www.morning.tpnx.cn.gov.cn.tpnx.cn http://www.morning.nppml.cn.gov.cn.nppml.cn http://www.morning.dfkby.cn.gov.cn.dfkby.cn http://www.morning.nsrlb.cn.gov.cn.nsrlb.cn http://www.morning.mlcwl.cn.gov.cn.mlcwl.cn http://www.morning.gpryk.cn.gov.cn.gpryk.cn http://www.morning.dlwzm.cn.gov.cn.dlwzm.cn http://www.morning.jbztm.cn.gov.cn.jbztm.cn http://www.morning.mtqqx.cn.gov.cn.mtqqx.cn http://www.morning.mztyh.cn.gov.cn.mztyh.cn http://www.morning.wqkfm.cn.gov.cn.wqkfm.cn
