甘肃省建设厅质量投诉网站,镇江网友之家,和wordpress价值,怎么在网上做网站文章目录1、背景2、集群规划2.1 hdfs集群规划2.2 yarn集群规划3、集群搭建步骤3.1 安装JDK3.2 修改主机名和host映射3.3 配置时间同步3.4 关闭防火墙3.5 配置ssh免密登录3.5.1 新建hadoop部署用户3.5.2 配置hadoopdeploy用户到任意一台机器都免密登录3.7 配置hadoop3.7.1 创建目…
文章目录1、背景2、集群规划2.1 hdfs集群规划2.2 yarn集群规划3、集群搭建步骤3.1 安装JDK3.2 修改主机名和host映射3.3 配置时间同步3.4 关闭防火墙3.5 配置ssh免密登录3.5.1 新建hadoop部署用户3.5.2 配置hadoopdeploy用户到任意一台机器都免密登录3.7 配置hadoop3.7.1 创建目录(3台机器都执行)3.7.2 下载hadoop并解压(hadoop01操作)3.7.3 配置hadoop环境变量(hadoop01操作)3.7.4 hadoop的配置文件分类(hadoop01操作)3.7.5 配置 hadoop-env.sh(hadoop01操作)3.7.6 配置core-site.xml文件(hadoop01操作)(核心配置文件)3.7.7 配置hdfs-site.xml文件(hadoop01操作)(hdfs配置文件)3.7.8 配置yarn-site.xml文件(hadoop01操作)(yarn配置文件)3.7.9 配置mapred-site.xml文件(hadoop01操作)(mapreduce配置文件)3.7.10 配置workers文件(hadoop01操作)3.7.11 3台机器hadoop配置同步(hadoop01操作)1、同步hadoop文件2、hadoop02和hadoop03设置hadoop的环境变量3、启动集群3.1 集群格式化3.2 集群启动3.2.1 逐个启动进程3.2.2 脚本一键启动3.3 启动集群3.3.1 启动hdfs集群3.3.2 启动yarn集群3.3.3 启动JobHistoryServer3.4 查看各个机器上启动的服务是否和我们规划的一致3.5 访问页面3.5.1 访问NameNode ui (hdfs集群)3.5.2 访问SecondaryNameNode ui3.5.3 查看ResourceManager ui(yarn集群)3.5.4 访问jobhistory4、参考链接1、背景
最近在学习hadoop本文记录一下怎样在Centos7系统上搭建一个3个节点的hadoop集群。
2、集群规划
hadoop集群是由2个集群构成的分别是hdfs集群和yarn集群。2个集群都是主从结构。
2.1 hdfs集群规划
ip地址主机名部署服务192.168.121.140hadoop01NameNode,DataNode,JobHistoryServer192.168.121.141hadoop02DataNode192.168.121.142hadoop03DataNode,SecondaryNameNode
2.2 yarn集群规划
ip地址主机名部署服务192.168.121.140hadoop01NodeManager192.168.121.141hadoop02ResourceManager,NodeManager192.168.121.142hadoop03NodeManager
3、集群搭建步骤
3.1 安装JDK
安装jdk步骤较为简单此处省略。需要注意的是hadoop需要的jdk版本。 https://cwiki.apache.org/confluence/display/HADOOP/HadoopJavaVersions
3.2 修改主机名和host映射
ip地址主机名192.168.121.140hadoop01192.168.121.141hadoop02192.168.121.142hadoop03
3台机器上同时执行如下命令
# 此处修改主机名3台机器的主机名需要都不同
[roothadoop01 ~]# vim /etc/hostname
[roothadoop01 ~]# cat /etc/hostname
hadoop01
[roothadoop01 ~]# vim /etc/hosts
[roothadoop01 ~]# cat /etc/hosts | grep hadoop*
192.168.121.140 hadoop01
192.168.121.141 hadoop02
192.168.121.142 hadoop033.3 配置时间同步
集群中的时间最好保持一致否则可能会有问题。此处我本地搭建虚拟机是可以链接外网直接配置和外网时间同步。如果不能链接外网则集群中的3台服务器让另外的2台和其中的一台保持时间同步。
3台机器同时执行如下命令
# 将centos7的时区设置成上海
[roothadoop01 ~]# ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
# 安装ntp
[roothadoop01 ~]# yum install ntp
已加载插件fastestmirror
Loading mirror speeds from cached hostfile
base | 3.6 kB 00:00
extras | 2.9 kB 00:00
updates | 2.9 kB 00:00
软件包 ntp-4.2.6p5-29.el7.centos.2.aarch64 已安装并且是最新版本
无须任何处理
# 将ntp设置成缺省启动
[roothadoop01 ~]# systemctl enable ntpd
# 重启ntp服务
[roothadoop01 ~]# service ntpd restart
Redirecting to /bin/systemctl restart ntpd.service
# 对准时间
[roothadoop01 ~]# ntpdate asia.pool.ntp.org
19 Feb 12:36:22 ntpdate[1904]: the NTP socket is in use, exiting
# 对准硬件时间和系统时间
[roothadoop01 ~]# /sbin/hwclock --systohc
# 查看时间
[roothadoop01 ~]# timedatectlLocal time: 日 2023-02-19 12:36:35 CSTUniversal time: 日 2023-02-19 04:36:35 UTCRTC time: 日 2023-02-19 04:36:35Time zone: Asia/Shanghai (CST, 0800)NTP enabled: yes
NTP synchronized: noRTC in local TZ: noDST active: n/a
# 开始自动时间和远程ntp时间进行同步
[roothadoop01 ~]# timedatectl set-ntp true3.4 关闭防火墙
3台机器上同时关闭防火墙如果不关闭的话则需要放行hadoop可能用到的所有端口等。
# 关闭防火墙
[roothadoop01 ~]# systemctl stop firewalld
systemctl stop firewalld
# 关闭防火墙开机自启
[roothadoop01 ~]# systemctl disable firewalld.service
Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
[roothadoop01 ~]#3.5 配置ssh免密登录
3.5.1 新建hadoop部署用户
[roothadoop01 ~]# useradd hadoopdeploy
[roothadoop01 ~]# passwd hadoopdeploy
更改用户 hadoopdeploy 的密码 。
新的 密码
无效的密码 密码包含用户名在某些地方
重新输入新的 密码
passwd所有的身份验证令牌已经成功更新。
[roothadoop01 ~]# vim /etc/sudoers
[roothadoop01 ~]# cat /etc/sudoers | grep hadoopdeploy
hadoopdeploy ALL(ALL) NOPASSWD: ALL
[roothadoop01 ~]#3.5.2 配置hadoopdeploy用户到任意一台机器都免密登录
配置3台机器从任意一台到自身和另外2台都进行免密登录。
当前机器当前用户免密登录的机器免密登录的用户hadoop01hadoopdeployhadoop01,hadoop02,hadoop03hadoopdeployhadoop02hadoopdeployhadoop01,hadoop02,hadoop03hadoopdeployhadoop03hadoopdeployhadoop01,hadoop02,hadoop03hadoopdeploy
此处演示从 hadoop01到hadoop01,hadoop02,hadoop03免密登录的shell
# 切换到 hadoopdeploy 用户
[roothadoop01 ~]# su - hadoopdeploy
Last login: Sun Feb 19 13:05:43 CST 2023 on pts/0
# 生成公私钥对下方的提示直接3个回车即可
[hadoopdeployhadoop01 ~]$ ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/home/hadoopdeploy/.ssh/id_rsa):
Created directory /home/hadoopdeploy/.ssh.
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /home/hadoopdeploy/.ssh/id_rsa.
Your public key has been saved in /home/hadoopdeploy/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:PFvgTUirtNLwzDIDsSD0RIzMPt0y1km5B7rY16h1/E hadoopdeployhadoop01
The keys randomart image is:
---[RSA 2048]----
|B . . |
| B o . o |
| * * . |
| O B / |
|. O S o |
| o * o * |
| o o E |
| o |
| . |
----[SHA256]-----
[hadoopdeployhadoop01 ~]$ ssh-copy-id hadoop01
...
[hadoopdeployhadoop01 ~]$ ssh-copy-id hadoop02
...
[hadoopdeployhadoop01 ~]$ ssh-copy-id hadoop033.7 配置hadoop
此处如无特殊说明都是使用的hadoopdeploy用户来操作。
3.7.1 创建目录(3台机器都执行)
# 创建 /opt/bigdata 目录
[hadoopdeployhadoop01 ~]$ sudo mkdir /opt/bigdata
# 将 /opt/bigdata/ 目录及它下方所有的子目录的所属者和所属组都给 hadoopdeploy
[hadoopdeployhadoop01 ~]$ sudo chown -R hadoopdeploy:hadoopdeploy /opt/bigdata/
[hadoopdeployhadoop01 ~]$ ll /opt
total 0
drwxr-xr-x. 2 hadoopdeploy hadoopdeploy 6 Feb 19 13:15 bigdata3.7.2 下载hadoop并解压(hadoop01操作)
# 进入目录
[hadoopdeployhadoop01 ~]$ cd /opt/bigdata/
# 下载
[hadoopdeployhadoop01 ~]$ https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz
# 解压并压缩
[hadoopdeployhadoop01 bigdata]$ tar -zxvf hadoop-3.3.4.tar.gz rm -rvf hadoop-3.3.4.tar.gz3.7.3 配置hadoop环境变量(hadoop01操作) # 进入hadoop目录
[hadoopdeployhadoop01 hadoop-3.3.4]$ cd /opt/bigdata/hadoop-3.3.4/
# 切换到root用户
[hadoopdeployhadoop01 hadoop-3.3.4]$ su - root
Password:
Last login: Sun Feb 19 13:06:41 CST 2023 on pts/0
[roothadoop01 ~]# vim /etc/profile
# 查看hadoop环境变量配置
[roothadoop01 ~]# tail -n 3 /etc/profile
# 配置HADOOP
export HADOOP_HOME/opt/bigdata/hadoop-3.3.4/
export PATH${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH
# 让环境变量生效
[roothadoop01 ~]# source /etc/profile3.7.4 hadoop的配置文件分类(hadoop01操作)
在hadoop中配置文件大概有这么3大类。
默认的只读配置文件 core-default.xml, hdfs-default.xml, yarn-default.xml and mapred-default.xml.自定义配置文件 etc/hadoop/core-site.xml, etc/hadoop/hdfs-site.xml, etc/hadoop/yarn-site.xml and etc/hadoop/mapred-site.xml 会覆盖默认的配置。环境配置文件 etc/hadoop/hadoop-env.sh and optionally the etc/hadoop/mapred-env.sh and etc/hadoop/yarn-env.sh 比如配置NameNode的启动参数HDFS_NAMENODE_OPTS等。 3.7.5 配置 hadoop-env.sh(hadoop01操作)
# 切换到hadoopdeploy用户
[roothadoop01 ~]# su - hadoopdeploy
Last login: Sun Feb 19 14:22:50 CST 2023 on pts/0
# 进入到hadoop的配置目录
[hadoopdeployhadoop01 ~]$ cd /opt/bigdata/hadoop-3.3.4/etc/hadoop/
[hadoopdeployhadoop01 hadoop]$ vim hadoop-env.sh
# 增加如下内容
export JAVA_HOME/usr/local/jdk8
export HDFS_NAMENODE_USERhadoopdeploy
export HDFS_DATANODE_USERhadoopdeploy
export HDFS_SECONDARYNAMENODE_USERhadoopdeploy
export YARN_RESOURCEMANAGER_USERhadoopdeploy
export YARN_NODEMANAGER_USERhadoopdeploy3.7.6 配置core-site.xml文件(hadoop01操作)(核心配置文件)
默认配置文件路径https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/core-default.xml
vim /opt/bigdata/hadoop-3.3.4/etc/hadoop/core-site.xml
configuration!-- 指定NameNode的地址 --propertynamefs.defaultFS/namevaluehdfs://hadoop01:8020/value/property!-- 指定hadoop数据的存储目录 --propertynamehadoop.tmp.dir/namevalue/opt/bigdata/hadoop-3.3.4/data/value/property!-- 配置HDFS网页登录使用的静态用户为hadoopdeploy,如果不配置的话当在hdfs页面点击删除时看看结果 --propertynamehadoop.http.staticuser.user/namevaluehadoopdeploy/value/property!-- 文件垃圾桶保存时间 --propertynamefs.trash.interval/namevalue1440/value/property
/configuration3.7.7 配置hdfs-site.xml文件(hadoop01操作)(hdfs配置文件)
默认配置文件路径https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml
vim /opt/bigdata/hadoop-3.3.4/etc/hadoop/hdfs-site.xml
configuration!-- 配置2个副本 --propertynamedfs.replication/namevalue2/value/property!-- nn web端访问地址--propertynamedfs.namenode.http-address/namevaluehadoop01:9870/value/property!-- snn web端访问地址--propertynamedfs.namenode.secondary.http-address/namevaluehadoop03:9868/value/property/configuration3.7.8 配置yarn-site.xml文件(hadoop01操作)(yarn配置文件)
默认配置文件路径https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-common/yarn-default.xml
vim /opt/bigdata/hadoop-3.3.4/etc/hadoop/yarn-site.xml
configuration!-- Site specific YARN configuration properties --!-- 指定ResourceManager的地址 --propertynameyarn.resourcemanager.hostname/namevaluehadoop02/value/property!-- 指定MR走shuffle --propertynameyarn.nodemanager.aux-services/namevaluemapreduce_shuffle/value/property!-- 是否对容器实施物理内存限制 --propertynameyarn.nodemanager.pmem-check-enabled/namevaluefalse/value/property!-- 是否对容器实施虚拟内存限制 --propertynameyarn.nodemanager.vmem-check-enabled/namevaluefalse/value/property!-- 设置 yarn 历史服务器地址 --propertynameyarn.log.server.url/namevaluehttp://hadoop02:19888/jobhistory/logs/value/property!-- 开启日志聚集--propertynameyarn.log-aggregation-enable/namevaluetrue/value/property!-- 聚集日志保留的时间7天 --propertynameyarn.log-aggregation.retain-seconds/namevalue604800/value/property
/configuration3.7.9 配置mapred-site.xml文件(hadoop01操作)(mapreduce配置文件)
默认配置文件路径https://hadoop.apache.org/docs/current/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml
vim /opt/bigdata/hadoop-3.3.4/etc/hadoop/yarn-site.xml
configuration!-- 设置 MR 程序默认运行模式yarn 集群模式local 本地模式--propertynamemapreduce.framework.name/namevalueyarn/value/property!-- MR 程序历史服务地址 --propertynamemapreduce.jobhistory.address/namevaluehadoop01:10020/value/property!-- MR 程序历史服务器 web 端地址 --propertynamemapreduce.jobhistory.webapp.address/namevaluehadoop01:19888/value/propertypropertynameyarn.app.mapreduce.am.env/namevalueHADOOP_MAPRED_HOME${HADOOP_HOME}/value/propertypropertynamemapreduce.map.env/namevalueHADOOP_MAPRED_HOME${HADOOP_HOME}/value/propertypropertynamemapreduce.reduce.env/namevalueHADOOP_MAPRED_HOME${HADOOP_HOME}/value/property
/configuration3.7.10 配置workers文件(hadoop01操作)
vim /opt/bigdata/hadoop-3.3.4/etc/hadoop/workers
hadoop01
hadoop02
hadoop03workers配置文件中不要有多余的空格或换行。
3.7.11 3台机器hadoop配置同步(hadoop01操作)
1、同步hadoop文件
# 同步 hadoop 文件
[hadoopdeployhadoop01 hadoop]$ scp -r /opt/bigdata/hadoop-3.3.4/ hadoopdeployhadoop02:/opt/bigdata/hadoop-3.3.4
[hadoopdeployhadoop01 hadoop]$ scp -r /opt/bigdata/hadoop-3.3.4/ hadoopdeployhadoop03:/opt/bigdata/hadoop-3.3.42、hadoop02和hadoop03设置hadoop的环境变量
[hadoopdeployhadoop03 bigdata]$ su - root
Password:
Last login: Sun Feb 19 13:07:40 CST 2023 on pts/0
[roothadoop03 ~]# vim /etc/profile
[roothadoop03 ~]# tail -n 4 /etc/profile# 配置HADOOP
export HADOOP_HOME/opt/bigdata/hadoop-3.3.4/
export PATH${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH
[roothadoop03 ~]# source /etc/profile3、启动集群
3.1 集群格式化
当是第一次启动集群时需要对hdfs进行格式化在NameNode节点操作。
[hadoopdeployhadoop01 hadoop]$ hdfs namenode -format3.2 集群启动
启动集群有2种方式
方式一 每台机器逐个启动进程比如启动NameNode,启动DataNode可以做到精确控制每个进程的启动。方式二 配置好各个机器之间的免密登录并且配置好 workers 文件通过脚本一键启动。
3.2.1 逐个启动进程
# HDFS 集群
[hadoopdeployhadoop01 hadoop]$ hdfs --daemon start namenode | datanode | secondarynamenode# YARN 集群
[hadoopdeployhadoop01 hadoop]$ hdfs yarn --daemon start resourcemanager | nodemanager | proxyserver3.2.2 脚本一键启动
start-dfs.sh 一键启动hdfs集群的所有进程start-yarn.sh 一键启动yarn集群的所有进程start-all.sh 一键启动hdfs和yarn集群的所有进程
3.3 启动集群
3.3.1 启动hdfs集群
需要在NameNode这台机器上启动
# 改脚本启动集群中的 NameNode、DataNode和SecondaryNameNode
[hadoopdeployhadoop01 hadoop]$ start-dfs.sh3.3.2 启动yarn集群
需要在ResourceManager这台机器上启动
# 该脚本启动集群中的 ResourceManager 和 NodeManager 进程
[hadoopdeployhadoop02 hadoop]$ start-yarn.sh3.3.3 启动JobHistoryServer
[hadoopdeployhadoop01 hadoop]$ mapred --daemon start historyserver3.4 查看各个机器上启动的服务是否和我们规划的一致 可以看到是一致的。
3.5 访问页面
3.5.1 访问NameNode ui (hdfs集群) 如果这个时候通过 hadoop fs 命令可以上传文件但是在这个web界面上可以创建文件夹但是上传文件报错此处就需要在访问ui界面的这个电脑的hosts文件中将部署hadoop的那几台的电脑的ip 和hostname 在本机上进行映射。
3.5.2 访问SecondaryNameNode ui 3.5.3 查看ResourceManager ui(yarn集群) 3.5.4 访问jobhistory 4、参考链接
1、https://cwiki.apache.org/confluence/display/HADOOP/HadoopJavaVersions 2、https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/ClusterSetup.html 文章转载自： http://www.morning.qkwxp.cn.gov.cn.qkwxp.cn http://www.morning.wmdlp.cn.gov.cn.wmdlp.cn http://www.morning.dfhkh.cn.gov.cn.dfhkh.cn http://www.morning.lrylj.cn.gov.cn.lrylj.cn http://www.morning.bpmdr.cn.gov.cn.bpmdr.cn http://www.morning.rrgqq.cn.gov.cn.rrgqq.cn http://www.morning.hkgcx.cn.gov.cn.hkgcx.cn http://www.morning.mjwnc.cn.gov.cn.mjwnc.cn http://www.morning.rywr.cn.gov.cn.rywr.cn http://www.morning.prmyx.cn.gov.cn.prmyx.cn http://www.morning.bpmfz.cn.gov.cn.bpmfz.cn http://www.morning.saastob.com.gov.cn.saastob.com http://www.morning.gczqt.cn.gov.cn.gczqt.cn http://www.morning.njstzsh.com.gov.cn.njstzsh.com http://www.morning.nbgfz.cn.gov.cn.nbgfz.cn http://www.morning.skfkx.cn.gov.cn.skfkx.cn http://www.morning.dbylp.cn.gov.cn.dbylp.cn http://www.morning.ypwlb.cn.gov.cn.ypwlb.cn http://www.morning.qjsxf.cn.gov.cn.qjsxf.cn http://www.morning.lnfkd.cn.gov.cn.lnfkd.cn http://www.morning.jtkfm.cn.gov.cn.jtkfm.cn http://www.morning.qljxm.cn.gov.cn.qljxm.cn http://www.morning.frsbf.cn.gov.cn.frsbf.cn http://www.morning.rkhhl.cn.gov.cn.rkhhl.cn http://www.morning.msgnx.cn.gov.cn.msgnx.cn http://www.morning.ghpld.cn.gov.cn.ghpld.cn http://www.morning.nqrdx.cn.gov.cn.nqrdx.cn http://www.morning.xrsqb.cn.gov.cn.xrsqb.cn http://www.morning.qrksj.cn.gov.cn.qrksj.cn http://www.morning.wnhml.cn.gov.cn.wnhml.cn http://www.morning.xyjlh.cn.gov.cn.xyjlh.cn http://www.morning.qhjkz.cn.gov.cn.qhjkz.cn http://www.morning.kbynw.cn.gov.cn.kbynw.cn http://www.morning.ngcsh.cn.gov.cn.ngcsh.cn http://www.morning.twdwy.cn.gov.cn.twdwy.cn http://www.morning.xhddb.cn.gov.cn.xhddb.cn http://www.morning.mrxgm.cn.gov.cn.mrxgm.cn http://www.morning.xrwsg.cn.gov.cn.xrwsg.cn http://www.morning.mooncore.cn.gov.cn.mooncore.cn http://www.morning.kjawz.cn.gov.cn.kjawz.cn http://www.morning.hclqy.cn.gov.cn.hclqy.cn http://www.morning.dyfmh.cn.gov.cn.dyfmh.cn http://www.morning.hrjrt.cn.gov.cn.hrjrt.cn http://www.morning.bpmnh.cn.gov.cn.bpmnh.cn http://www.morning.gywfp.cn.gov.cn.gywfp.cn http://www.morning.dcpbk.cn.gov.cn.dcpbk.cn http://www.morning.dpppx.cn.gov.cn.dpppx.cn http://www.morning.rbhcx.cn.gov.cn.rbhcx.cn http://www.morning.fqhbt.cn.gov.cn.fqhbt.cn http://www.morning.mhlsx.cn.gov.cn.mhlsx.cn http://www.morning.rmkyb.cn.gov.cn.rmkyb.cn http://www.morning.jpjxb.cn.gov.cn.jpjxb.cn http://www.morning.hlxxl.cn.gov.cn.hlxxl.cn http://www.morning.jzklb.cn.gov.cn.jzklb.cn http://www.morning.yzfrh.cn.gov.cn.yzfrh.cn http://www.morning.vibwp.cn.gov.cn.vibwp.cn http://www.morning.yjtnc.cn.gov.cn.yjtnc.cn http://www.morning.fgxr.cn.gov.cn.fgxr.cn http://www.morning.ktrh.cn.gov.cn.ktrh.cn http://www.morning.lfdzr.cn.gov.cn.lfdzr.cn http://www.morning.ntyanze.com.gov.cn.ntyanze.com http://www.morning.ljglc.cn.gov.cn.ljglc.cn http://www.morning.mlzyx.cn.gov.cn.mlzyx.cn http://www.morning.bynf.cn.gov.cn.bynf.cn http://www.morning.wgqtt.cn.gov.cn.wgqtt.cn http://www.morning.tbnn.cn.gov.cn.tbnn.cn http://www.morning.qbgff.cn.gov.cn.qbgff.cn http://www.morning.qjbxt.cn.gov.cn.qjbxt.cn http://www.morning.mdlqf.cn.gov.cn.mdlqf.cn http://www.morning.hqzmz.cn.gov.cn.hqzmz.cn http://www.morning.hrrmb.cn.gov.cn.hrrmb.cn http://www.morning.wnnts.cn.gov.cn.wnnts.cn http://www.morning.pltbd.cn.gov.cn.pltbd.cn http://www.morning.ryxbz.cn.gov.cn.ryxbz.cn http://www.morning.hnrqn.cn.gov.cn.hnrqn.cn http://www.morning.nktgj.cn.gov.cn.nktgj.cn http://www.morning.bswxt.cn.gov.cn.bswxt.cn http://www.morning.qhqgk.cn.gov.cn.qhqgk.cn http://www.morning.mdjtk.cn.gov.cn.mdjtk.cn http://www.morning.zpnfc.cn.gov.cn.zpnfc.cn
