有奖竞猜网站建设,做网站企业 金坛,电商网站布局设计,网站特效js代码文章目录一、集群环境准备二、搭建 ZooKeeper 集群和配置三、搭建 Kafka 集群对接zk四、搭建 ES 集群和配置五、部署 Logstash 消费 Kafka数据写入至ES六、部署 Filebeat 收集日志七、安装 Kibana 展示日志信息一、集群环境准备
1.1 因为资源原因这里我就暂时先一台机器部署多…
文章目录一、集群环境准备二、搭建 ZooKeeper 集群和配置三、搭建 Kafka 集群对接zk四、搭建 ES 集群和配置五、部署 Logstash 消费 Kafka数据写入至ES六、部署 Filebeat 收集日志七、安装 Kibana 展示日志信息一、集群环境准备
1.1 因为资源原因这里我就暂时先一台机器部署多个应用给大家演示
硬件资源节点组件8c16g 50node1-192.168.40.162KafkaZooKeeperES-7.9.2Logstash-7.9.28c16g 50node2-192.168.40.163KafkaZooKeeperES-7.9.2Kibana-7.9.28c16g 50node3-192.168.40.164KafkaZooKeeperES-7.9.2Filebeat-7.9.2Elasticsearch-head
二、搭建 ZooKeeper 集群和配置
2.1 修改时区 - 修改主机名 - 安装JDK环境变量 - 停防火墙(三台一样设置)
[rootnode1 ~]# rm -f /etc/localtime ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
[rootnode1 ~]# date#修改主机名
[rootnode1 ~]# hostnamectl set-hostname node3#检查JDK环境变量
[rootnode1 ~]# java -version
openjdk version 1.8.0_131
OpenJDK Runtime Environment (build 1.8.0_131-b12)
OpenJDK 64-Bit Server VM (build 25.131-b12, mixed mode)#停防火墙并关闭
[rootnode1 ~]# systemctl stop firewalld setenforce 0 systemctl disable firewalld#三台都设置同样的DNS解析
[rootnode1 ~]# vim /etc/hosts
192.168.40.162 node1
192.168.40.163 node2
192.168.40.164 node32.1 安装 ZooKeeper
#下载zk安装包
[rootnode1 ~]# wget http://dlcdn.apache.org/zookeeper/zookeeper-3.8.0/apache-zookeeper-3.8.0-bin.tar.gz
#解压到指定目录并修改文件夹名
[rootnode1 ~]# tar -zxvf apache-zookeeper-3.8.0-bin.tar.gz -C /usr/local/
[rootnode1 ~]# mv /usr/local/apache-zookeeper-3.8.0-bin/ /usr/local/zookeeper-3.8.0
#备份原始配置文件
[rootnode1 ~]# mv /usr/local/zookeeper-3.8.0/conf/zoo_sample.cfg /usr/local/zookeeper-3.8.0/conf/zoo.cfg
[rootnode1 ~]# cp /usr/local/zookeeper-3.8.0/conf/zoo.cfg /usr/local/zookeeper-3.8.0/conf/zoo.cfg_bak2.2 修改三台 zk 配置文件
[rootnode1 ~]# vim /usr/local/zookeeper-3.8.0/conf/zoo.cfg
tickTime2000
initLimit10
syncLimit5
#这个目录要自己创建不然启动会报错,省了重新创建一次
dataDir/tmp/zookeeper
clientPort2181
#集群地址
server.1192.168.40.162:3188:3288
server.2192.168.40.163:3188:3288
server.3192.168.40.164:3188:3288# 其他两台都执行以上的部署和修改文件配置文件可以通过scp进行传输
[rootnode1 ~]# cd /usr/local/zookeeper-3.8.0/conf/
[rootnode1 ~]# scp zoo_sample.cfg 192.168.40.163:/usr/local/zookeeper-3.8.0/conf 192.168.40.164:/usr/local/zookeeper-3.8.0/conf#创建文件并指定节点号 注意每台都要执行并且节点号不能相同 myid 必须在dataDir 数据目录下
[rootnode1 ~]# echo 1 /tmp/zookeeper/myid
[rootnode2 ~]# echo 2 /tmp/zookeeper/myid
[rootnode3 ~]# echo 3 /tmp/zookeeper/myid 2.3 启动 3台的 zk 并查看集群状态
#要三台都起起来 才能看到主从
[rootnode1 ~]# sh /usr/local/zookeeper/bin/zkServer.sh start[rootnode1 ~]# sh /usr/local/zookeeper/bin/zkServer.sh status
/usr/bin/java
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: leader #主[rootnode2 ~]# sh /usr/local/zookeeper/bin/zkServer.sh status
/usr/bin/java
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: follower #从[rootnode2 ~]# sh /usr/local/zookeeper/bin/zkServer.sh status
/usr/bin/java
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: follower #从三、搭建 Kafka 集群对接zk
3.1 安装 Kafka
#下载 kafka安装包
[rootnode1 ~]# wget http://archive.apache.org/dist/kafka/2.7.1/kafka_2.13-2.7.1.tgz#解压到指定目录
[rootnode1 ~]# tar -zxvf kafka_2.13-2.7.1.tgz -C /usr/local/
[rootnode1 ~]# mv /usr/local/kafka_2.13-2.7.1/ /usr/local/kafka
[rootnode1 ~]# cp /usr/local/kafka/config/server.properties /usr/local/kafka/config/server.properties_bak3.2 修改三台 zk 配置文件 并配置环境变量
[rootnode1 ~]# vim /usr/local/kafka/config/server.properties
#borkerid 每台都不一样 不能重复
broker.id1
#本地监听地址
listenersPLAINTEXT://192.168.40.162:9092
num.network.threads3
num.io.threads8
socket.send.buffer.bytes102400
socket.receive.buffer.bytes102400
socket.request.max.bytes104857600
log.dirs/tmp/kafka-logs
num.partitions1
num.recovery.threads.per.data.dir1
offsets.topic.replication.factor1
transaction.state.log.replication.factor1
transaction.state.log.min.isr1
log.retention.hours168
log.segment.bytes1073741824
log.retention.check.interval.ms300000
#zk 集群地址
zookeeper.connect192.168.40.162:2181,192.168.40.163:2181,192.168.40.164:2181
zookeeper.connection.timeout.ms18000
group.initial.rebalance.delay.ms0#borkerid 每台都不一样 不能重复
broker.id2
#本地监听地址
listenersPLAINTEXT://192.168.40.163:9092
num.network.threads3
num.io.threads8
socket.send.buffer.bytes102400
socket.receive.buffer.bytes102400
socket.request.max.bytes104857600
log.dirs/tmp/kafka-logs
num.partitions1
num.recovery.threads.per.data.dir1
offsets.topic.replication.factor1
transaction.state.log.replication.factor1
transaction.state.log.min.isr1
log.retention.hours168
log.segment.bytes1073741824
log.retention.check.interval.ms300000
#zk 集群地址
zookeeper.connect192.168.40.162:2181,192.168.40.163:2181,192.168.40.164:2181
zookeeper.connection.timeout.ms18000
group.initial.rebalance.delay.ms0#borkerid 每台都不一样 不能重复
broker.id3
#本地监听地址
listenersPLAINTEXT://192.168.40.164:9092
num.network.threads3
num.io.threads8
socket.send.buffer.bytes102400
socket.receive.buffer.bytes102400
socket.request.max.bytes104857600
log.dirs/tmp/kafka-logs
num.partitions1
num.recovery.threads.per.data.dir1
offsets.topic.replication.factor1
transaction.state.log.replication.factor1
transaction.state.log.min.isr1
log.retention.hours168
log.segment.bytes1073741824
log.retention.check.interval.ms300000
#zk 集群地址
zookeeper.connect192.168.40.162:2181,192.168.40.163:2181,192.168.40.164:2181
zookeeper.connection.timeout.ms18000
group.initial.rebalance.delay.ms0[rootnode1 ~]# vim /etc/profile
export KAFKA_HOME/usr/local/kafka
export PATH$PATH:$KAFKA_HOME/bin[rootnode1 ~]# source /etc/profile3.3 启动kafka (命令可以在任意路径执行不需要填写绝对路径)
[rootnode1 ~]# sh /usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties
#检查端口
[rootnode1 ~]# netstat -tunlp | grep 90923.4 Kafka常用命令行操作
#查看当前服务器中的所有topic
kafka-topics.sh --list --zookeeper 192.168.40.162:2181,192.168.40.163:2181,192.168.40.164:2181
#查看某个topic的详情
kafka-topics.sh --describe --zookeeper 192.168.40.162:2181,192.168.40.163:2181,192.168.40.164:2181
#发布消息
kafka-console-producer.sh --broker-list 192.168.40.162:9092,192.168.40.163:9092,192.168.40.164:9092 --topic test
#消费消息
kafka-console-consumer.sh --bootstrap-server 192.168.40.162:9092,192.168.40.163:9092,192.168.40.164:9092 --topic test --from-beginning
--from-beginning 会把主题中以往所有的数据都读取出来
#修改分区数
kafka-topics.sh --zookeeper 192.168.40.162:2181,192.168.40.163:2181,192.168.40.164:2181 --alter --topic test --partitions 6
#删除topic
kafka-topics.sh --delete --zookeeper 192.168.40.162:2181,192.168.40.163:2181,192.168.40.164:2181 --topic test3.5 Kafka命令创建Topic
[rootnode1 ~]# sh /usr/local/kafka/bin/kafka-topics.sh --create --zookeeper \192.168.40.162:2181,192.168.40.163:2181,192.168.40.164:2181 \--partitions 3 \--replication-factor 2 \--topic test
Created topic test.--zookeeper: 定义 zookeeper 集群服务器地址,如果有多个 IP 地址使用逗号分割,一般使用一个 IP 即可
--replication-factor: 定义分区副本数,1 代表单副本,建议为 2
--partitions: 定义分区数
--topic: 定义 topic 名称#查看Topic 信息,三台都随便查某个节点
[rootnode1 ~]# sh /usr/local/kafka/bin/kafka-topics.sh --describe --zookeeper 192.168.40.163:2181
Topic: test PartitionCount: 3 ReplicationFactor: 2 Configs: Topic: test Partition: 0 Leader: 1 Replicas: 1,3 Isr: 1,3Topic: test Partition: 1 Leader: 3 Replicas: 3,1 Isr: 3,1Topic: test Partition: 2 Leader: 1 Replicas: 1,3 Isr: 1,33.6 测试 Kafka-Topic
#发布消息
[rootnode1 logs]# kafka-console-producer.sh --broker-list 192.168.40.162:9092,192.168.40.163:9092,192.168.40.164:9092 --topic test
1
2
3
4
5
6
7
#消费消息
[rootnode1 logs]# kafka-console-consumer.sh --bootstrap-server 192.168.40.162:9092,192.168.40.163:9092,192.168.40.164:9092 --topic test --from-beginning
5
6
exit
3
4
quit
1
2
7
qu
q四、搭建 ES 集群和配置
4.1 三台主机安装 ES 修改配置文件并启动
#下载ES安装包
[rootnode1 ~]# wget http://dl.elasticsearch.cn/elasticsearch/elasticsearch-7.9.2-x86_64.rpm#安装
[rootnode1 ~]# rpm -ivh elasticsearch-7.9.2-x86_64.rpm#备份原始配置文件
[rootnode1 ~]# cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml_bak#修改 Node1 配置文件
[rootnode1 elasticsearch]# vim /etc/elasticsearch/elasticsearch.yml#集群名
cluster.name: my-application
#节点名
node.name: node1
#数据存放路径,生产建议改为挂载盘
path.data: /var/lib/elasticsearch
#日志存放路径
path.logs: /var/log/elasticsearch
#网络
network.host: 0.0.0.0
#监听端口
http.port: 9200
#集群节点设置,不需要写端口号默认9300 内部通信端口
discovery.seed_hosts: [192.168.40.162, 192.168.40.163, 192.168.40.164]
#集群Master节点数
cluster.initial_master_nodes: [node1,node2,node3]#修改 Node2 配置文件
#集群名
cluster.name: my-application
#节点名
node.name: node2
#数据存放路径,生产建议改为挂载盘
path.data: /var/lib/elasticsearch
#日志存放路径
path.logs: /var/log/elasticsearch
#网络
network.host: 0.0.0.0
#监听端口
http.port: 9200
#集群节点设置,不需要写端口号默认9300 内部通信端口
discovery.seed_hosts: [192.168.40.162, 192.168.40.163, 192.168.40.164]
#集群Master节点数
cluster.initial_master_nodes: [node1,node2,node3]#修改 Node3 配置文件
#集群名
cluster.name: my-application
#节点名
node.name: node3
#数据存放路径,生产建议改为挂载盘
path.data: /var/lib/elasticsearch
#日志存放路径
path.logs: /var/log/elasticsearch
#网络
network.host: 0.0.0.0
#服务端口
http.port: 9200
#集群节点设置,不需要写端口号默认9300 内部通信端口
discovery.seed_hosts: [192.168.40.162, 192.168.40.163, 192.168.40.164]
#集群Master节点数
cluster.initial_master_nodes: [node1,node2,node3]#启动三台ES 并设置开机自启动,浏览器访问服务端口,检查集群是否监控
[rootnode1 elasticsearch]# systemctl start elasticsearch systemctl enable elasticsearch
● elasticsearch.service - ElasticsearchLoaded: loaded (/usr/lib/systemd/system/elasticsearch.service; enabled; vendor preset: disabled)Active: active (running) since Fri 2023-04-07 15:31:50 CST; 1min 24s agoDocs: https://www.elastic.coMain PID: 38495 (java)CGroup: /system.slice/elasticsearch.service├─38495 /usr/share/elasticsearch/jdk/bin/java -Xshare:auto -Des.networkaddress.cache.ttl60 -Des.networkaddress.cache.negative.ttl10 ...└─38705 /usr/share/elasticsearch/modules/x-pack-ml/platform/linux-x86_64/bin/controllerApr 07 15:31:28 node3 systemd[1]: Starting Elasticsearch...
Apr 07 15:31:50 node3 systemd[1]: Started Elasticsearch.#status key 为green 则为健康
[rootnode1 elasticsearch]# curl http://192.168.40.162:9200/_cluster/health?pretty
{cluster_name : my-application,status : green,timed_out : false,number_of_nodes : 3,number_of_data_nodes : 3,active_primary_shards : 0,active_shards : 0,relocating_shards : 0,initializing_shards : 0,unassigned_shards : 0,delayed_unassigned_shards : 0,number_of_pending_tasks : 0,number_of_in_flight_fetch : 0,task_max_waiting_in_queue_millis : 0,active_shards_percent_as_number : 100.0
}4.2 部署 Elasticsearch-head 数据可视化工具
# head插件是Nodejs实现的所以需要先安装Nodejs
[rootnode3 ~]# wget https://nodejs.org/dist/v12.18.4/node-v12.18.4-linux-x64.tar.xz
#注意这里是 -xf 参数
[rootnode3 ~]# tar -xf node-v12.18.4-linux-x64.tar.xz
[rootnode3 ~]# vim /etc/profile
# 添加 如下配置
export NODE_HOME/root/node-v12.18.4-linux-x64
export PATH$NODE_HOME/bin:$PATH#从Git 上下载安装包
[rootnode3 ~]# wget https://github.com/mobz/elasticsearch-head/archive/master.zip
[rootnode3 ~]# unzip master.zip
[rootnode3 ~]# mv elasticsearch-head-master/ elasticsearch-head
[rootnode3 ~]# cd elasticsearch-head
#此步安装的比较慢耐心等待
[rootnode3 elasticsearch-head]# npm install
#后台启动插件
[rootnode3 elasticsearch-head]# npm run start #修改三台的ES配置文件
--末尾添加以下内容--
http.cors.enabled: true #开启跨域访问支持默认为false
http.cors.allow-origin: * #指定跨域访问允许的域名地址为所有
4.3 访问 Elasticsearch-head
http://192.168.40.164:9100/五、部署 Logstash 消费 Kafka数据写入至ES
5.1 安装 Logstash
#我这里安装三台,你也可以安装在一台上进行测试
[rootnode1 ~]# wget http://dl.elasticsearch.cn/logstash/logstash-7.9.2.rpm
[rootnode1 ~]# rpm -ivh logstash-7.9.2.rpm
[rootnode1 ~]# vim /etc/logstash/conf.d/logstash.conf
#下面一定要按照格式写,不然会不识别
input {kafka {codec plaintopics [test]bootstrap_servers 192.168.40.162:9092,192.168.40.163:9092,192.168.40.164:9092max_poll_interval_ms 3000000session_timeout_ms 6000heartbeat_interval_ms 2000auto_offset_reset latestgroup_id logstashtype logs}
}
output {elasticsearch {hosts [http://192.168.40.162:9200, http://192.168.40.163:9200,http://192.168.40.164:9200]index test-%{YYYY.MM.dd}}
}#配置软连 方便用命令检查配置文件
[rootnode1 ~]# ln -s /usr/share/logstash/bin/logstash /usr/local/bin/
[rootnode1 ~]# logstash -t5.2 检查配置的时候报错提示如下 寻找这个文件失败原因是因为我用rpm 装的文件位置在/etc/logstash/ 下面它去标红的路径下面去找了
#/usr/share/logstash/ 目录下面少了一层config,我们这里来创建
[rootnode1 ~]# mkdir -p /usr/share/logstash/config/
#把/etc/logstash/pipelines.yml cp到 /usr/share/logstash/config/下面
[rootnode1 ~]# cp /etc/logstash/pipelines.yml /usr/share/logstash/config/5.3 再次测试文件的时候 又报了一个错误这个错误是因为 配置文件配置的有误导致的
#启动 Logstash
[rootnode1 ~]# systemctl start logstash systemctl enable logstash
#查看日志是否消费了Kafka信息
[rootnode1 ~]# tail -f /var/log/logstash/logstash-plain.log 六、部署 Filebeat 收集日志
[rootnode3 ~]# wget http://dl.elasticsearch.cn/filebeat/filebeat-7.9.2-x86_64.rpm
[rootnode3 ~]# rpm -ivh filebeat-7.9.2-x86_64.rpm
#配置Filebeat 收集NG日志信息
[rootnode3 ~]# vim /etc/filebeat/filebeat.yml
filebeat.inputs:
- type: logenabled: falsepaths:#收集日志地址- /usr/local/openresty/nginx/logs/*.log
output.kafka:#配置Kafka地址hosts: [192.168.40.162:9092,192.168.40.163:9092,192.168.40.164:9092]#这个Topic 要和Kafka一致topic: test七、安装 Kibana 展示日志信息
7.1 安装并配置
#下载
[rootnode2 ~]# wget http://dl.elasticsearch.cn/kibana/kibana-7.9.2-x86_64.rpm
[rootnode2 ~]# rpm -ivh kibana-7.9.2-x86_64.rpm
[rootnode2 ~]# vim /etc/kibana/kibana.yml
#WEB访问端口
server.port: 5601
server.host: 0.0.0.0
#ES集群地址
elasticsearch.hosts: [http://192.168.40.162:9200/,http://192.168.40.163:9200/,http://192.168.40.164:9200/]
kibana.index: .kibana7.2 配置索引 文章转载自： http://www.morning.horihe.com.gov.cn.horihe.com http://www.morning.bcjbm.cn.gov.cn.bcjbm.cn http://www.morning.byrlg.cn.gov.cn.byrlg.cn http://www.morning.pqcbx.cn.gov.cn.pqcbx.cn http://www.morning.ftznb.cn.gov.cn.ftznb.cn http://www.morning.ckhyj.cn.gov.cn.ckhyj.cn http://www.morning.bhjyh.cn.gov.cn.bhjyh.cn http://www.morning.gsjzs.cn.gov.cn.gsjzs.cn http://www.morning.taojava.cn.gov.cn.taojava.cn http://www.morning.tmzlt.cn.gov.cn.tmzlt.cn http://www.morning.ccyns.cn.gov.cn.ccyns.cn http://www.morning.bmssj.cn.gov.cn.bmssj.cn http://www.morning.fbnsx.cn.gov.cn.fbnsx.cn http://www.morning.zqnmp.cn.gov.cn.zqnmp.cn http://www.morning.rfrxt.cn.gov.cn.rfrxt.cn http://www.morning.jfjbl.cn.gov.cn.jfjbl.cn http://www.morning.zwndt.cn.gov.cn.zwndt.cn http://www.morning.xnpml.cn.gov.cn.xnpml.cn http://www.morning.hqbk.cn.gov.cn.hqbk.cn http://www.morning.lynkz.cn.gov.cn.lynkz.cn http://www.morning.sgnxl.cn.gov.cn.sgnxl.cn http://www.morning.sbjhm.cn.gov.cn.sbjhm.cn http://www.morning.ympcj.cn.gov.cn.ympcj.cn http://www.morning.crqbt.cn.gov.cn.crqbt.cn http://www.morning.xtrzh.cn.gov.cn.xtrzh.cn http://www.morning.ypnxq.cn.gov.cn.ypnxq.cn http://www.morning.fkgcd.cn.gov.cn.fkgcd.cn http://www.morning.fwqgy.cn.gov.cn.fwqgy.cn http://www.morning.fhsgw.cn.gov.cn.fhsgw.cn http://www.morning.zxgzp.cn.gov.cn.zxgzp.cn http://www.morning.rjnky.cn.gov.cn.rjnky.cn http://www.morning.rqqmd.cn.gov.cn.rqqmd.cn http://www.morning.qllcm.cn.gov.cn.qllcm.cn http://www.morning.rtbj.cn.gov.cn.rtbj.cn http://www.morning.hkpyp.cn.gov.cn.hkpyp.cn http://www.morning.tmcmj.cn.gov.cn.tmcmj.cn http://www.morning.c7627.cn.gov.cn.c7627.cn http://www.morning.jkzjs.cn.gov.cn.jkzjs.cn http://www.morning.zlgth.cn.gov.cn.zlgth.cn http://www.morning.mbqyl.cn.gov.cn.mbqyl.cn http://www.morning.ltffk.cn.gov.cn.ltffk.cn http://www.morning.nqrdx.cn.gov.cn.nqrdx.cn http://www.morning.rfljb.cn.gov.cn.rfljb.cn http://www.morning.mzhjx.cn.gov.cn.mzhjx.cn http://www.morning.hwlmy.cn.gov.cn.hwlmy.cn http://www.morning.lcdtb.cn.gov.cn.lcdtb.cn http://www.morning.xsfny.cn.gov.cn.xsfny.cn http://www.morning.ccpnz.cn.gov.cn.ccpnz.cn http://www.morning.ryxyz.cn.gov.cn.ryxyz.cn http://www.morning.kgslc.cn.gov.cn.kgslc.cn http://www.morning.ndcf.cn.gov.cn.ndcf.cn http://www.morning.bzfwn.cn.gov.cn.bzfwn.cn http://www.morning.zwndt.cn.gov.cn.zwndt.cn http://www.morning.rljr.cn.gov.cn.rljr.cn http://www.morning.sfrw.cn.gov.cn.sfrw.cn http://www.morning.dyzbt.cn.gov.cn.dyzbt.cn http://www.morning.rnnts.cn.gov.cn.rnnts.cn http://www.morning.tfsyk.cn.gov.cn.tfsyk.cn http://www.morning.mehrim.com.gov.cn.mehrim.com http://www.morning.kwblwbl.cn.gov.cn.kwblwbl.cn http://www.morning.lrgfd.cn.gov.cn.lrgfd.cn http://www.morning.lmcrc.cn.gov.cn.lmcrc.cn http://www.morning.nwclg.cn.gov.cn.nwclg.cn http://www.morning.lfgql.cn.gov.cn.lfgql.cn http://www.morning.yrpg.cn.gov.cn.yrpg.cn http://www.morning.4r5w91.cn.gov.cn.4r5w91.cn http://www.morning.gwqcr.cn.gov.cn.gwqcr.cn http://www.morning.mpscg.cn.gov.cn.mpscg.cn http://www.morning.demoux.com.gov.cn.demoux.com http://www.morning.etsaf.com.gov.cn.etsaf.com http://www.morning.vvdifactory.com.gov.cn.vvdifactory.com http://www.morning.tmpsc.cn.gov.cn.tmpsc.cn http://www.morning.cwfkm.cn.gov.cn.cwfkm.cn http://www.morning.jjzbx.cn.gov.cn.jjzbx.cn http://www.morning.jzkqg.cn.gov.cn.jzkqg.cn http://www.morning.flfdm.cn.gov.cn.flfdm.cn http://www.morning.qcwrm.cn.gov.cn.qcwrm.cn http://www.morning.rjcqb.cn.gov.cn.rjcqb.cn http://www.morning.lwgsk.cn.gov.cn.lwgsk.cn http://www.morning.jqtb.cn.gov.cn.jqtb.cn
