一站式自媒体服务平台,济宁网站建设只要500元,南阳高质量建设大市网站,设计作品发布平台Kubernetes上搭建一主两从的mysql8集群 环境准备搭建nfs服务器安装NFS暴露nfs目录开启nfs服务器 安装MySQL集群创建命名空间创建MySQL密码的Secret安装MySQL主节点创建pv和pvc主节点的配置文件部署mysql主节点 安装第一个MySQL Slave节点创建pv和pvc第一个从节点配置文件部署my… Kubernetes上搭建一主两从的mysql8集群 环境准备搭建nfs服务器安装NFS暴露nfs目录开启nfs服务器 安装MySQL集群创建命名空间创建MySQL密码的Secret安装MySQL主节点创建pv和pvc主节点的配置文件部署mysql主节点 安装第一个MySQL Slave节点创建pv和pvc第一个从节点配置文件部署mysql从节点 安装第二个MySQL Slave节点创建pv和pvc第二个从节点配置文件部署mysql第二个从节点 使三台服务器组成一个集群查看主节点的状态连接第一个Slave连接第二个Slave 测试主从集群 环境准备
本文章视频教程地址https://www.bilibili.com/video/BV1iw411e7ZE/
首先你需要准备一个kubernetes集群和一台nfs服务器为了方便我就用 k8s-master 来做nfs服务器了。我的服务器IP地址和用途如图
IP地址主机名用途192.168.1.160k8s-masterKubernetes主服务器兼nfs服务器192.168.1.161K8s-node01Kubernetes的第一个工作节点192.168.1.162K8s-node02Kubernetes的第二个工作节点
Kubernetes集群已经准备好如图
如果你还没有Kubernetes集群请参考我写的文章https://blog.csdn.net/m0_51510236/article/details/130842122
我之前写过关于在物理机上搭建MySQL主从和在Kubernetes上安装单节点的文章可以对这篇文章进行参考
MySQL主从搭建https://blog.csdn.net/m0_51510236/article/details/120390144Kubernetes部署单节点的MySQLhttps://blog.csdn.net/m0_51510236/article/details/132482351
搭建nfs服务器
安装NFS
我打算在主服务器上安装nfs因为需要在两个工作节点上连接nfs所以工作节点上也要安装nfs
yum install -y nfs-utils三台服务器都要安装如图
暴露nfs目录
因为我们要安装三台mysql(一主两从)所以我们要创建三个目录用于这三台服务器。 我之前写过一篇关于动态存储的文章如果需要使用动态存储请参考https://blog.csdn.net/m0_51510236/article/details/132641343动态存储的安装步骤是这篇文章的上半部分 我们直接在nfs服务器(k8s-master)当中创建这三个目录并写入 /etc/exports 文件夹中创建的目录可以修改
mkdir -p /data/nfs/{mysql-master,mysql-slaver-01,mysql-slaver-02}
cat /etc/exports EOF
/data/nfs/mysql-master *(rw,sync,no_root_squash)
/data/nfs/mysql-slaver-01 *(rw,sync,no_root_squash)
/data/nfs/mysql-slaver-02 *(rw,sync,no_root_squash)
EOF创建后如图
开启nfs服务器
之前我们已经搭建好了NFS服务器接下来我们可以直接在主服务器上启动nfs服务器。这行这行命令
systemctl enable --now nfs-server执行后我们可以通过这行命令来检查目录是否暴露成功
# 注意修改为自己的nfs服务器地址
showmount -e 192.168.1.160可以查看三台服务器都能检查到已经暴露的三个目录
安装MySQL集群
创建命名空间
创建一个命名空间来部署MySQL集群当然你也可以使用默认的Default命名空间。这里就用 deploy-test 命名空间来搭建集群了首先我们将这个命名空间创建出来
命令创建
kubectl create namespace deploy-testyaml资源清单文件创建(推荐)
apiVersion: v1
kind: Namespace
metadata:name: deploy-test
spec: {}
status: {}创建后如图
创建MySQL密码的Secret
创建一个存储了MySQL密码的Secret我们可以直接使用这行命令生成这个Secret的资源清单文件
# 注意修改root的密码和命名空间我的root密码设置为的是root
kubectl create secret generic mysql-password --namespacedeploy-test --from-literalmysql_root_passwordroot --dry-runclient -oyaml执行后如图
将它存入一个yaml文件当中并执行
安装MySQL主节点
创建pv和pvc
我们之前安装了nfs现在我们可以给予那些目录创建pv和pvc创建pv和pvc的资源清单文件(pv和pvc在我之前的一篇文章中有比较详细介绍https://blog.csdn.net/m0_51510236/article/details/132482351)
apiVersion: v1
kind: PersistentVolume
metadata:name: deploy-mysql-master-nfs-pvnamespace: deploy-test
spec:capacity:storage: 1GiaccessModes:- ReadWriteManynfs:# 注意修改IP地址和暴露的目录如果不一样server: 192.168.1.160path: /data/nfs/mysql-masterstorageClassName: nfs---apiVersion: v1
kind: PersistentVolumeClaim
metadata:name: deploy-mysql-master-nfs-pvcnamespace: deploy-test
spec:accessModes:- ReadWriteManystorageClassName: nfsresources:requests:storage: 1GivolumeName: deploy-mysql-master-nfs-pv创建后我们可以用这行命令来查看创建后的pv和pvc
kubectl get pv,pvc -n deploy-test创建成功如图
主节点的配置文件
我们需要为主节点准备一个 my.cnf 配置文件文件内容如下
[mysqld]
skip-host-cache
skip-name-resolve
datadir /var/lib/mysql
socket /var/run/mysqld/mysqld.sock
secure-file-priv /var/lib/mysql-files
pid-file /var/run/mysqld/mysqld.pid
user mysql
secure-file-priv NULL
server-id 1
log-bin master-bin
log_bin_index master-bin.index
binlog_do_db xiaohh_user
binlog_ignore_db information_schema
binlog_ignore_db mysql
binlog_ignore_db performance_schema
binlog_ignore_db sys
binlog-format ROW[client]
socket /var/run/mysqld/mysqld.sock!includedir /etc/mysql/conf.d/有那么几个配置需要注意一下那么几个配置
# server id要注意多个mysql节点唯一
server-id 1
# 生成的logbin的文件名
log-bin master-bin
log_bin_index master-bin.index
# 同步哪个数据库这里我们为了测试之同步xiaohh_user这个数据库
binlog_do_db xiaohh_user
# 排除哪个数据库可以写多行排除的数据库不会被主从同步这里写上mysql自带的几个数据库
binlog_ignore_db information_schema
... # 还有几行省略
# binlog的格式
binlog-format ROW接下来将创建一个ConfigMap来存储这个配置文件。可以使用以下配置生成yaml资源清单文件内容
kubectl create configmap mysql-master-cm -n deploy-test --from-filemy.cnf --dry-runclient -o yaml生成如图
我们将在下一个步骤将其创建。
部署mysql主节点
我们直接上mysql主节点的yaml资源清单文件
apiVersion: v1
data:my.cnf: |[mysqld]skip-host-cacheskip-name-resolvedatadir /var/lib/mysqlsocket /var/run/mysqld/mysqld.socksecure-file-priv /var/lib/mysql-filespid-file /var/run/mysqld/mysqld.piduser mysqlsecure-file-priv NULLserver-id 1log-bin master-binlog_bin_index master-bin.indexbinlog_do_db xiaohh_userbinlog_ignore_db information_schemabinlog_ignore_db mysqlbinlog_ignore_db performance_schemabinlog_ignore_db sysbinlog-format ROW[client]socket /var/run/mysqld/mysqld.sock!includedir /etc/mysql/conf.d/
kind: ConfigMap
metadata:name: mysql-master-cmnamespace: deploy-test---apiVersion: v1
kind: Service
metadata:name: deploy-mysql-master-svcnamespace: deploy-testlabels:app: mysql-master
spec:ports:- port: 3306name: mysqltargetPort: 3306nodePort: 30306selector:app: mysql-mastertype: NodePortsessionAffinity: ClientIP---apiVersion: apps/v1
kind: StatefulSet
metadata:name: deploy-mysql-masternamespace: deploy-test
spec:selector:matchLabels:app: mysql-masterserviceName: deploy-mysql-master-svcreplicas: 1template:metadata:labels:app: mysql-masterspec:terminationGracePeriodSeconds: 10containers:- args:- --character-set-serverutf8mb4- --collation-serverutf8mb4_unicode_ci- --lower_case_table_names1- --default-time_zone8:00name: mysql# image: docker.io/library/mysql:8.0.34image: registry.cn-shenzhen.aliyuncs.com/xiaohh-docker/mysql:8.0.34ports:- containerPort: 3306name: mysqlvolumeMounts:- name: mysql-datamountPath: /var/lib/mysql- name: mysql-confmountPath: /etc/my.cnfreadOnly: truesubPath: my.cnfenv:- name: MYSQL_ROOT_PASSWORDvalueFrom:secretKeyRef:key: mysql_root_passwordname: mysql-passwordvolumes:- name: mysql-datapersistentVolumeClaim:claimName: deploy-mysql-master-nfs-pvc- name: mysql-confconfigMap:name: mysql-master-cmitems:- key: my.cnfmode: 0644path: my.cnf我之前讲过stateful的mysql资源清单文件内容可以参考我写的文章https://blog.csdn.net/m0_51510236/article/details/132482351这里就不再过多讲解。有几个特殊的地方需要拿出来说一下首先就是这个位置
为了方便有些拉取不到dockerhub镜像的小伙伴我将dockerhub的mysql镜像拉取下来并推送到了国内的阿里云。你们可以选择性使用。接下来还需要注意文件的挂载
然后执行以下命令部署这个yaml文件
kubectl apply -f mysql-master.yaml如图可以看到mysql已经运行起来了
接下来查看一下nfs挂在出来的目录可以看到log-bin文件已经出现了
安装第一个MySQL Slave节点
刚刚我们安装了MySQL的主节点接下来我们安装第一个MySQL从节点。
创建pv和pvc
因为搭建主节点的时候已经说过了这里直接提供yaml资源清单文件
apiVersion: v1
kind: PersistentVolume
metadata:name: deploy-mysql-slave-01-nfs-pvnamespace: deploy-test
spec:capacity:storage: 1GiaccessModes:- ReadWriteManynfs:server: 192.168.1.160path: /data/nfs/mysql-slaver-01storageClassName: nfs---apiVersion: v1
kind: PersistentVolumeClaim
metadata:name: deploy-mysql-slave-01-nfs-pvcnamespace: deploy-test
spec:accessModes:- ReadWriteManystorageClassName: nfsresources:requests:storage: 1GivolumeName: deploy-mysql-slave-01-nfs-pv我们直接创建
第一个从节点配置文件
我们需要为主节点准备一个 my.cnf 配置文件文件内容如下
[mysqld]
skip-host-cache
skip-name-resolve
datadir /var/lib/mysql
socket /var/run/mysqld/mysqld.sock
secure-file-priv /var/lib/mysql-files
pid-file /var/run/mysqld/mysqld.pid
user mysql
secure-file-priv NULL
server-id 2
log-bin slave-bin
relay-log slave-relay-bin
relay-log-index slave-relay-bin.index[client]
socket /var/run/mysqld/mysqld.sock!includedir /etc/mysql/conf.d/有那么几个配置需要注意一下那么几个配置
# server id注意不同节点要不一样
server-id 2
# 从节点的logbin文件
log-bin slave-bin
relay-log slave-relay-bin
relay-log-index slave-relay-bin.index接下来将创建一个ConfigMap来存储这个配置文件。可以使用以下配置生成yaml资源清单文件内容
kubectl create configmap mysql-slave-01-cm -n deploy-test --from-filemy.cnf --dry-runclient -o yaml生成如图
我们将在下一个步骤将其创建。
部署mysql从节点
yaml资源清单文件和主节点差不多这里就直接提供
apiVersion: v1
data:my.cnf: |[mysqld]skip-host-cacheskip-name-resolvedatadir /var/lib/mysqlsocket /var/run/mysqld/mysqld.socksecure-file-priv /var/lib/mysql-filespid-file /var/run/mysqld/mysqld.piduser mysqlsecure-file-priv NULLserver-id 2log-bin slave-binrelay-log slave-relay-binrelay-log-index slave-relay-bin.index[client]socket /var/run/mysqld/mysqld.sock!includedir /etc/mysql/conf.d/
kind: ConfigMap
metadata:name: mysql-slave-01-cmnamespace: deploy-test---apiVersion: v1
kind: Service
metadata:name: deploy-mysql-slave-svcnamespace: deploy-testlabels:app: mysql-slave
spec:ports:- port: 3306name: mysqltargetPort: 3306nodePort: 30308selector:app: mysql-slavetype: NodePortsessionAffinity: ClientIP---apiVersion: apps/v1
kind: StatefulSet
metadata:name: deploy-mysql-slave-01namespace: deploy-test
spec:selector:matchLabels:app: mysql-slaveserviceName: deploy-mysql-slave-svcreplicas: 1template:metadata:labels:app: mysql-slavespec:terminationGracePeriodSeconds: 10containers:- args:- --character-set-serverutf8mb4- --collation-serverutf8mb4_unicode_ci- --lower_case_table_names1- --default-time_zone8:00name: mysql# image: docker.io/library/mysql:8.0.34image: registry.cn-shenzhen.aliyuncs.com/xiaohh-docker/mysql:8.0.34ports:- containerPort: 3306name: mysqlvolumeMounts:- name: mysql-datamountPath: /var/lib/mysql- name: mysql-confmountPath: /etc/my.cnfreadOnly: truesubPath: my.cnfenv:- name: MYSQL_ROOT_PASSWORDvalueFrom:secretKeyRef:key: mysql_root_passwordname: mysql-passwordvolumes:- name: mysql-datapersistentVolumeClaim:claimName: deploy-mysql-slave-01-nfs-pvc- name: mysql-confconfigMap:name: mysql-slave-01-cmitems:- key: my.cnfmode: 0644path: my.cnf我们直接创建
安装第二个MySQL Slave节点
创建pv和pvc
这里同样只提供相应的yaml资源清单文件
apiVersion: v1
kind: PersistentVolume
metadata:name: deploy-mysql-slave-02-nfs-pvnamespace: deploy-test
spec:capacity:storage: 1GiaccessModes:- ReadWriteManynfs:server: 192.168.1.160path: /data/nfs/mysql-slaver-02storageClassName: nfs---apiVersion: v1
kind: PersistentVolumeClaim
metadata:name: deploy-mysql-slave-02-nfs-pvcnamespace: deploy-test
spec:accessModes:- ReadWriteManystorageClassName: nfsresources:requests:storage: 1GivolumeName: deploy-mysql-slave-02-nfs-pv我们直接创建可以看到第三个pv和pvc都被创建出来了
第二个从节点配置文件
我们需要为主节点准备一个 my.cnf 配置文件文件内容如下
[mysqld]
skip-host-cache
skip-name-resolve
datadir /var/lib/mysql
socket /var/run/mysqld/mysqld.sock
secure-file-priv /var/lib/mysql-files
pid-file /var/run/mysqld/mysqld.pid
user mysql
secure-file-priv NULL
server-id 3
log-bin slave-bin
relay-log slave-relay-bin
relay-log-index slave-relay-bin.index[client]
socket /var/run/mysqld/mysqld.sock!includedir /etc/mysql/conf.d/有那么几个配置需要注意一下那么几个配置
# server id注意不同节点要不一样
server-id 3
# 从节点的logbin文件
log-bin slave-bin
relay-log slave-relay-bin
relay-log-index slave-relay-bin.index接下来将创建一个ConfigMap来存储这个配置文件。可以使用以下配置生成yaml资源清单文件内容
kubectl create configmap mysql-slave-02-cm -n deploy-test --from-filemy.cnf --dry-runclient -o yaml生成如图
我们将在下一个步骤将其创建。
部署mysql第二个从节点
注意这个配置文件少了一个service因为我打算将它与slave1共用一个serviceyaml资源清单文件
apiVersion: v1
data:my.cnf: |[mysqld]skip-host-cacheskip-name-resolvedatadir /var/lib/mysqlsocket /var/run/mysqld/mysqld.socksecure-file-priv /var/lib/mysql-filespid-file /var/run/mysqld/mysqld.piduser mysqlsecure-file-priv NULLserver-id 3log-bin slave-binrelay-log slave-relay-binrelay-log-index slave-relay-bin.index[client]socket /var/run/mysqld/mysqld.sock!includedir /etc/mysql/conf.d/
kind: ConfigMap
metadata:name: mysql-slave-02-cmnamespace: deploy-test---apiVersion: apps/v1
kind: StatefulSet
metadata:name: deploy-mysql-slave-02namespace: deploy-test
spec:selector:matchLabels:app: mysql-slave-02serviceName: deploy-mysql-slave-svcreplicas: 1template:metadata:labels:app: mysql-slave-02spec:terminationGracePeriodSeconds: 10containers:- args:- --character-set-serverutf8mb4- --collation-serverutf8mb4_unicode_ci- --lower_case_table_names1- --default-time_zone8:00name: mysql# image: docker.io/library/mysql:8.0.34image: registry.cn-shenzhen.aliyuncs.com/xiaohh-docker/mysql:8.0.34ports:- containerPort: 3306name: mysqlvolumeMounts:- name: mysql-datamountPath: /var/lib/mysql- name: mysql-confmountPath: /etc/my.cnfreadOnly: truesubPath: my.cnfenv:- name: MYSQL_ROOT_PASSWORDvalueFrom:secretKeyRef:key: mysql_root_passwordname: mysql-passwordvolumes:- name: mysql-datapersistentVolumeClaim:claimName: deploy-mysql-slave-02-nfs-pvc- name: mysql-confconfigMap:name: mysql-slave-02-cmitems:- key: my.cnfmode: 0644path: my.cnf我们直接创建
使三台服务器组成一个集群
查看主节点的状态
首先我们来到master的mysql输入下面命令
kubectl exec -itn deploy-test pod/deploy-mysql-master-0 -- mysql -uroot -p输入密码之后可以进入mysql内部
我们输入这行命令查看master的状态
show master status;查看输出结果我们需要记住 File 和 Position 参数
接下来我们分别来到两个子几点当中执行这行命令
change master to master_hostdeploy-mysql-master-0.deploy-mysql-master-svc.deploy-test.svc.cluster.local, master_port3306, master_userroot, master_passwordroot, master_log_filemaster-bin.000003, master_log_pos157, master_connect_retry30, get_master_public_key1;需要注意下面的几个参数
master_host: 这个参数是master的地址kubernetes提供的解析规则是 pod名称.service名称.命名空间.svc.cluster.local 所以我们master的mysql地址是 deploy-mysql-master-0.deploy-mysql-master-svc.deploy-test.svc.cluster.localmaster_port: 主节点的mysql端口我们没改默认是3306master_user: 登录到主节点的mysql用户master_password: 登录到主节点要用到的密码master_log_file: 我们之前查看mysql主节点状态时候的 File 字段master_log_pos: 我们之前查看mysql主节点状态时候的 Position 字段master_connect_retry: 主节点重连时间get_master_public_key: 连接主mysql的公钥获取方式
根据上面参数如果要修改那么请按照自己的环境进行修改。
连接第一个Slave
我们使用下面这行命令就可以进入第一个mysql从节点
kubectl exec -itn deploy-test pod/deploy-mysql-slave-01-0 -- mysql -uroot -p执行后如图
我们先执行上面所提到的命令
然后我们还要开启slave执行下面命令
start slave;执行后如图
然后我们可以执行这行命令查看slave状态
show slave status\G可以看到Slave的状态是正常的
第一个slave节点加入成功
连接第二个Slave
我们使用下面这行命令就可以进入第二个mysql从节点
kubectl exec -itn deploy-test pod/deploy-mysql-slave-02-0 -- mysql -uroot -p执行后如图
我们执行同样的命令如图
查看Slave状态
show slave status\G可以看到第二个Slave也是正常的
测试主从集群
首先我们在主节点当中创建一个数据库和一个数据表
CREATE DATABASE xiaohh_user;
USE xiaohh_user;CREATE TABLE user (user_id BIGINT UNSIGNED PRIMARY KEY AUTO_INCREMENT COMMENT 用户id,username VARCHAR(50) NOT NULL COMMENT 用户名,age TINYINT UNSIGNED DEFAULT 18 COMMENT 年龄,gender TINYINT UNSIGNED DEFAULT 2 COMMENT 性别0男,1女,2未知
) COMMENT 用户表;创建如图
在主节点上查看数据库
然后我们来到从节点继续查看
我们来到主数据库创建一条数据
INSERT INTO user (username, age, gender) VALUES (XiaoHH, 18, 0);插入后如图
可以看到两个从数据库数据也同步成功
好了Kubernetes上搭建MySQL主从就已经完毕了。祝你们编码愉快 文章转载自： http://www.morning.nzklw.cn.gov.cn.nzklw.cn http://www.morning.jtkfm.cn.gov.cn.jtkfm.cn http://www.morning.kxgn.cn.gov.cn.kxgn.cn http://www.morning.xyjlh.cn.gov.cn.xyjlh.cn http://www.morning.drfrm.cn.gov.cn.drfrm.cn http://www.morning.mprpx.cn.gov.cn.mprpx.cn http://www.morning.htqrh.cn.gov.cn.htqrh.cn http://www.morning.tztgq.cn.gov.cn.tztgq.cn http://www.morning.qrlkt.cn.gov.cn.qrlkt.cn http://www.morning.lthgy.cn.gov.cn.lthgy.cn http://www.morning.lhrxq.cn.gov.cn.lhrxq.cn http://www.morning.sskns.cn.gov.cn.sskns.cn http://www.morning.wnpps.cn.gov.cn.wnpps.cn http://www.morning.wmmjw.cn.gov.cn.wmmjw.cn http://www.morning.tbrnl.cn.gov.cn.tbrnl.cn http://www.morning.rcdmp.cn.gov.cn.rcdmp.cn http://www.morning.kqbjy.cn.gov.cn.kqbjy.cn http://www.morning.bphqd.cn.gov.cn.bphqd.cn http://www.morning.mygbt.cn.gov.cn.mygbt.cn http://www.morning.qpsdq.cn.gov.cn.qpsdq.cn http://www.morning.qwfl.cn.gov.cn.qwfl.cn http://www.morning.ptslx.cn.gov.cn.ptslx.cn http://www.morning.qrcsb.cn.gov.cn.qrcsb.cn http://www.morning.clfct.cn.gov.cn.clfct.cn http://www.morning.zxxys.cn.gov.cn.zxxys.cn http://www.morning.rgxcd.cn.gov.cn.rgxcd.cn http://www.morning.hylbz.cn.gov.cn.hylbz.cn http://www.morning.xhwty.cn.gov.cn.xhwty.cn http://www.morning.mqss.cn.gov.cn.mqss.cn http://www.morning.pxbrg.cn.gov.cn.pxbrg.cn http://www.morning.qpxrr.cn.gov.cn.qpxrr.cn http://www.morning.nmngg.cn.gov.cn.nmngg.cn http://www.morning.bdkhl.cn.gov.cn.bdkhl.cn http://www.morning.fksxs.cn.gov.cn.fksxs.cn http://www.morning.jqjnx.cn.gov.cn.jqjnx.cn http://www.morning.xckrj.cn.gov.cn.xckrj.cn http://www.morning.mkfhx.cn.gov.cn.mkfhx.cn http://www.morning.ydfr.cn.gov.cn.ydfr.cn http://www.morning.mdtfh.cn.gov.cn.mdtfh.cn http://www.morning.gyylt.cn.gov.cn.gyylt.cn http://www.morning.rqfzp.cn.gov.cn.rqfzp.cn http://www.morning.ztjhz.cn.gov.cn.ztjhz.cn http://www.morning.cnvlog.cn.gov.cn.cnvlog.cn http://www.morning.mngyb.cn.gov.cn.mngyb.cn http://www.morning.yqkmd.cn.gov.cn.yqkmd.cn http://www.morning.bojkosvit.com.gov.cn.bojkosvit.com http://www.morning.msgcj.cn.gov.cn.msgcj.cn http://www.morning.cjmmt.cn.gov.cn.cjmmt.cn http://www.morning.bnqcm.cn.gov.cn.bnqcm.cn http://www.morning.mcmpq.cn.gov.cn.mcmpq.cn http://www.morning.glbnc.cn.gov.cn.glbnc.cn http://www.morning.rzczl.cn.gov.cn.rzczl.cn http://www.morning.gmrxh.cn.gov.cn.gmrxh.cn http://www.morning.yymlk.cn.gov.cn.yymlk.cn http://www.morning.rggky.cn.gov.cn.rggky.cn http://www.morning.ymsdr.cn.gov.cn.ymsdr.cn http://www.morning.ghryk.cn.gov.cn.ghryk.cn http://www.morning.gwqkk.cn.gov.cn.gwqkk.cn http://www.morning.kfwqd.cn.gov.cn.kfwqd.cn http://www.morning.flhnd.cn.gov.cn.flhnd.cn http://www.morning.jxrpn.cn.gov.cn.jxrpn.cn http://www.morning.tfei69.cn.gov.cn.tfei69.cn http://www.morning.hengqilan.cn.gov.cn.hengqilan.cn http://www.morning.yxwcj.cn.gov.cn.yxwcj.cn http://www.morning.cknws.cn.gov.cn.cknws.cn http://www.morning.lxmmx.cn.gov.cn.lxmmx.cn http://www.morning.ynryz.cn.gov.cn.ynryz.cn http://www.morning.hkng.cn.gov.cn.hkng.cn http://www.morning.xprq.cn.gov.cn.xprq.cn http://www.morning.bklkt.cn.gov.cn.bklkt.cn http://www.morning.zrmxp.cn.gov.cn.zrmxp.cn http://www.morning.fglth.cn.gov.cn.fglth.cn http://www.morning.ylqrc.cn.gov.cn.ylqrc.cn http://www.morning.qjmnl.cn.gov.cn.qjmnl.cn http://www.morning.hhfqk.cn.gov.cn.hhfqk.cn http://www.morning.mgkcz.cn.gov.cn.mgkcz.cn http://www.morning.qxlhj.cn.gov.cn.qxlhj.cn http://www.morning.xzjsb.cn.gov.cn.xzjsb.cn http://www.morning.nktxr.cn.gov.cn.nktxr.cn http://www.morning.znqztgc.cn.gov.cn.znqztgc.cn
