咸阳网站开发公司,织梦cms安装教程,如何做网站流量分析,丽江网络推广文章目录 一.pod资源限制1.pod资源限制方式2.pod资源限制指定时指定的参数#xff08;1#xff09;request 资源#xff08;2#xff09; limit 资源#xff08;3#xff09;两种资源匹配方式 3.资源限制的示例#xff08;1#xff09;官网示例#xff08;2#xff0… 文章目录 一.pod资源限制1.pod资源限制方式2.pod资源限制指定时指定的参数1request 资源2 limit 资源3两种资源匹配方式 3.资源限制的示例1官网示例2Pod和容器的资源请求和限制格式3CPU 资源单位介绍4内存资源单位5资源限制示例16资源限制示例2 二.健康检查又称为探针Probe1. 探针的规则2.Probe支持三种检查方法3.探针三种方式示例1exec方式2httpGet方式3tcpSocket方式4就绪检测示例5示例5就绪检测26启动、退出动作 三.扩展1.pod的状态2.Container生命周期3.pod的生命周期 总1.pod的资源限制2.pod容器探针3.三种探测方式4.pod容器的启动动作和退出的动作 一.pod资源限制
对pod资源限制原因高并发占用所有的cpu资源、内存资源、会造成雪崩
方式对pod做限制、对k8s做限制
1.pod资源限制方式
当定义 Pod 时可以选择性地为每个容器设定所需要的资源数量。
最常见的可设定资源是 CPU 和内存大小以及其他类型的资源。
2.pod资源限制指定时指定的参数
1request 资源
当为 Pod 中的容器指定了 request 资源时调度器就使用该信息来决定将 Pod 调度到哪个节点上。
2 limit 资源
当还为容器指定了 limit 资源时kubelet 就会确保运行的容器不会使用超出所设的 limit 资源量。kubelet 还会为容器预留所设的 request 资源量 供该容器使用。
如果 Pod 运行所在的节点具有足够的可用资源容器可以使用超出所设置的 request 资源量。不过容器不可以使用超出所设置的 limit 资源量。
3两种资源匹配方式
如果给容器设置了内存的 limit 值但未设置内存的 request 值Kubernetes 会自动为其设置与内存 limit 相匹配的 request 值。 类似的如果给容器设置了 CPU 的 limit 值但未设置 CPU 的 request 值则 Kubernetes 自动为其设置 CPU 的 request 值 并使之与 CPU 的 limit 值匹配。
3.资源限制的示例
1官网示例
官网示例 https://kubernetes.io/docs/concepts/configuration/manage-compute-resources-container/
2Pod和容器的资源请求和限制格式
#Pod 和 容器 的资源请求和限制
spec.containers[].resources.requests.cpu //定义创建容器时预分配的CPU资源
spec.containers[].resources.requests.memory //定义创建容器时预分配的内存资源
spec.containers[].resources.limits.cpu //定义 cpu 的资源上限
spec.containers[].resources.limits.memory //定义内存的资源上限3CPU 资源单位介绍
CPU 资源的 request 和 limit 以 cpu 为单位。Kubernetes 中的一个 cpu 相当于1个 vCPU1个超线程。 Kubernetes 也支持带小数 CPU 的请求。spec.containers[].resources.requests.cpu 为 0.5 的容器能够获得一个 cpu 的一半 CPU 资源类似于Cgroup对CPU资源的时间分片。表达式 0.1 等价于表达式 100m毫核表示每 1000 毫秒内容器可以使用的 CPU 时间总量为 0.1*1000 毫秒。Kubernetes 不允许设置精度小于 1m 的 CPU 资源。
4内存资源单位
内存的 request 和 limit 以字节为单位。可以以整数表示或者以10为底数的指数的单位E、P、T、G、M、K来表示 或者以2为底数的指数的单位Ei、Pi、Ti、Gi、Mi、Ki来表示。 如1KB10310001MB10610000001000KB1GB10^910000000001000MB 1KiB21010241MiB22010485761024KiB
PS在买硬盘的时候操作系统报的数量要比产品标出或商家号称的小一些主要原因是标出的是以 MB、GB为单位的1GB 就是1,000,000,000Byte而操作系统是以2进制为处理单位的因此检查硬盘容量时是以MiB、GiB为单位1GiB2^301,073,741,824相比较而言1GiB要比1GB多出1,073,741,824-1,000,000,00073,741,824Byte所以检测实际结果要比标出的少一些。 官方为 Pod 和容器管理资源介绍 https://kubernetes.io/zh-cn/docs/concepts/configuration/manage-resources-containers/ 5资源限制示例1
#资源限制模板
apiVersion: v1
kind: Pod
metadata:name: frontend
spec:containers:- name: appimage: images.my-company.example/app:v4env:- name: MYSQL_ROOT_PASSWORDvalue: passwordresources:requests:memory: 64Micpu: 250m limits:memory: 128Micpu: 500m- name: log-aggregatorimage: images.my-company.example/log-aggregator:v6resources:requests:memory: 64Micpu: 250mlimits:memory: 128Micpu: 500mvim pod1.yaml apiVersion: v1
kind: Pod
metadata:name: frontend
spec:containers:- name: webimage: nginx:latestimagePullPolicy: IfNotPresentresources:requests:memory: 64Micpu: 250mlimits:memory: 128Micpu: 500m- name: dbimage: mysqlenv:- name: MYSQL_ROOT_PASSWORDvalue: abc123resources:requests:memory: 64Micpu: 250mlimits:memory: 128Micpu: 500m此例子中的 Pod 有两个容器。每个容器的 request 值为 0.25 cpu 和 64MiB 内存每个容器的 limit 值为 0.5 cpu 和 128MiB 内存。那么可以认为该 Pod 的总的资源 request 为 0.5 cpu 和 128 MiB 内存总的资源 limit 为 1 cpu 和 256MiB 内存。
kubectl apply -f pod1.yamlkubectl get podkubectl describe pod frontend6资源限制示例2
前面对pod1的资源限制这里将cpu的大小进行调整
vim pod1.yaml
apiVersion: v1
kind: Pod
metadata:name: frontend
spec:containers:- name: webimage: nginxenv:- name: WEB_ROOT_PASSWORDvalue: abc123resources:requests:memory: 64Micpu: 250mlimits:memory: 128Micpu: 500m- name: dbimage: mysqlenv:- name: MYSQL_ROOT_PASSWORDvalue: abc123resources:requests:memory: 512Mi cpu: 0.5limits:memory: 1Gi cpu: 1kubectl apply -f pod1.yaml
kubectl describe pod frontendkubectl get pods -o wideNAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
frontend 2/2 Running 0 100s 10.244.2.70 node01 none nonekubectl describe nodes node02 #查看mysql创建的pod日志
kubectl logs frontend -c db二.健康检查又称为探针Probe
1. 探针的规则
探针是由kubelet对容器执行的定期诊断。 1livenessProbe 判断容器是否正在运行。如果探测失败则kubelet会杀死容器并且容器将根据 restartPolicy 来设置 Pod 状态。 如果容器不提供存活探针则默认状态为Success。
2readinessProbe 判断容器是否准备好接受请求。如果探测失败端点控制器将从与 Pod 匹配的所有 service 址endpoints 中剔除删除该Pod的IP地。 初始延迟之前的就绪状态默认为Failure。如果容器不提供就绪探针则默认状态为Success。
3startupProbe这个1.17版本增加的判断容器内的应用程序是否已启动主要针对于不能确定具体启动时间的应用。如果配置了 startupProbe 探测在则在 startupProbe 状态为 Success 之前其他所有探针都处于无效状态直到它成功后其他探针才起作用。 如果 startupProbe 失败kubelet 将杀死容器容器将根据 restartPolicy 来重启。如果容器没有配置 startupProbe 则默认状态为 Success。 #注以上规则可以同时定义。在readinessProbe检测成功之前Pod的running状态是不会变成ready状态的。
2.Probe支持三种检查方法
1exec 在容器内执行指定命令。如果命令退出时返回码为0则认为诊断成功。
2tcpSocket 对指定端口上的容器的IP地址进行TCP检查三次握手。如果端口打开则诊断被认为是成功的。
3httpGet 对指定的端口和路径上的容器的IP地址执行HTTPGet请求。如果响应的状态码大于等于200且小于400则诊断被认为是成功的
每次探测都将获得以下三种结果之一 ●成功容器通过了诊断。 ●失败容器未通过诊断。 ●未知诊断失败因此不会采取任何行动 官网示例 https://kubernetes.io/docs/tasks/configure-pod-container/configure-liveness-readiness-startup-probes/ 3.探针三种方式示例
1exec方式
#exec方式的模板
apiVersion: v1
kind: Pod
metadata:labels:test: livenessname: liveness-exec
spec:containers:- name: livenessimage: k8s.gcr.io/busyboxargs: - /bin/sh- -c- touch /tmp/healthy; sleep 30; rm -rf /tmp/healthy; sleep 60livenessProbe:exec:command:- cat- /tmp/healthyfailureThreshold: 1initialDelaySeconds: 5periodSeconds: 5#initialDelaySeconds指定 kubelet 在执行第一次探测前应该等待5秒即第一次探测是在容器启动后的第6秒才开始执行。默认是 0 秒最小值是 0。 #periodSeconds指定了 kubelet 应该每 5 秒执行一次存活探测。默认是 10 秒。最小值是 1。 #failureThreshold: 当探测失败时Kubernetes 将在放弃之前重试的次数。 存活探测情况下的放弃就意味着重新启动容器。就绪探测情况下的放弃 Pod 会被打上未就绪的标签。默认值是 3。最小值是 1。 #timeoutSeconds探测的超时后等待多少秒。默认值是 1 秒。最小值是 1。在 Kubernetes 1.20 版本之前exec 探针会忽略 timeoutSeconds 探针会无限期地 持续运行甚至可能超过所配置的限期直到返回结果为止。 可以看到 Pod 中只有一个容器。kubelet 在执行第一次探测前需要等待 5 秒kubelet 会每 5 秒执行一次存活探测。kubelet 在容器内执行命令 cat /tmp/healthy 来进行探测。如果命令执行成功并且返回值为 0kubelet 就会认为这个容器是健康存活的。 当到达第 31 秒时这个命令返回非 0 值kubelet 会杀死这个容器并重新启动它。
#示例、
vim pod2.yamlapiVersion: v1
kind: Pod
metadata:name: liveness-execnamespace: default
spec:containers:- name: liveness-exec-containerimage: busyboximagePullPolicy: IfNotPresentcommand: [/bin/sh,-c,touch /tmp/live ; sleep 30; rm -rf /tmp/live; sleep 3600]livenessProbe:exec:command: [test,-e,/tmp/live]initialDelaySeconds: 1periodSeconds: 3kubectl create -f exec.yamlkubectl describe pods liveness-execkubectl get pods -w2httpGet方式
#模板
apiVersion: v1
kind: Pod
metadata:labels:test: livenessname: liveness-http
spec:containers:- name: livenessimage: k8s.gcr.io/livenessargs:- /serverlivenessProbe:httpGet:path: /healthzport: 8080httpHeaders:- name: Custom-Headervalue: AwesomeinitialDelaySeconds: 3periodSeconds: 3在这个配置文件中可以看到 Pod 也只有一个容器。initialDelaySeconds 字段告诉 kubelet 在执行第一次探测前应该等待 3 秒。periodSeconds 字段指定了 kubelet 每隔 3 秒执行一次存活探测。kubelet 会向容器内运行的服务服务会监听 8080 端口发送一个 HTTP GET 请求来执行探测。如果服务器上 /healthz 路径下的处理程序返回成功代码则 kubelet 认为容器是健康存活的。如果处理程序返回失败代码则 kubelet 会杀死这个容器并且重新启动它。
任何大于或等于 200 并且小于 400 的返回代码标示成功其它返回代码都标示失败。
vim httpget.yaml
apiVersion: v1
kind: Pod
metadata:name: liveness-httpgetnamespace: default
spec:containers:- name: liveness-httpget-containerimage: soscscs/myapp:v1imagePullPolicy: IfNotPresentports:- name: httpcontainerPort: 80livenessProbe:httpGet:port: httppath: /index.htmlinitialDelaySeconds: 1periodSeconds: 3timeoutSeconds: 10liveness http-get http://IP:80/index.html 延迟1秒 timeout1s period(频率)3 success1 failure失败3 机器会杀死容器 重启
kubectl create -f httpget.yaml
kubectl get pod#定义进入访问
kubectl exec -it liveness-httpget sh
#到nginx目录
cd /usr/share/nginx/
cd html/#另开终端可以查看日志查看返回是否是正常的
kubectl logs liveness-httpget#在原先的终端删除index.html探针会检测存活如果再次进入查看存在就证明探针正常
rm -rf index.htmlkubectl exec -it liveness-httpget sh3tcpSocket方式
#模板
apiVersion: v1
kind: Pod
metadata:name: goproxylabels:app: goproxy
spec:containers:- name: goproxyimage: k8s.gcr.io/goproxy:0.1ports:- containerPort: 8080readinessProbe:tcpSocket:port: 8080initialDelaySeconds: 5periodSeconds: 10livenessProbe:tcpSocket:port: 8080initialDelaySeconds: 15periodSeconds: 20这个例子同时使用 readinessProbe 和 livenessProbe 探测。kubelet 会在容器启动 5 秒后发送第一个 readinessProbe 探测。这会尝试连接 goproxy 容器的 8080 端口。如果探测成功kubelet 将继续每隔 10 秒运行一次检测。除了 readinessProbe 探测这个配置包括了一个 livenessProbe 探测。kubelet 会在容器启动 15 秒后进行第一次 livenessProbe 探测。就像 readinessProbe 探测一样会尝试连接 goproxy 容器的 8080 端口。如果 livenessProbe 探测失败这个容器会被重新启动。
vim tcpsocket.yamlapiVersion: v1
kind: Pod
metadata:name: probe-tcp
spec:containers:- name: nginximage: soscscs/myapp:v1livenessProbe:initialDelaySeconds: 5timeoutSeconds: 1tcpSocket:port: 8080periodSeconds: 10failureThreshold: 2kubectl create -f tcpsocket.yamlkubectl exec -it probe-tcp -- netstat -natpkubectl get pods -wNAME READY STATUS RESTARTS AGE
probe-tcp 1/1 Running 1 88sprobe-tcp 1/1 Running 2 90s#第一次是 init(5秒) period(10秒) * 2
probe-tcp 1/1 Running 3 110s#第二次是 period(10秒) period(10秒) 重试了两次
probe-tcp 1/1 Running 4 2m10s4就绪检测示例
vim readiness-httpget.yaml
apiVersion: v1
kind: Pod
metadata:name: readiness-httpgetnamespace: default
spec:containers:- name: readiness-httpget-containerimage: soscscs/myapp:v1 #指定了容器使用的镜像imagePullPolicy: IfNotPresent #指定了镜像拉取策略为仅在本地不存在时才拉取ports: #定义了容器暴露的端口这里使用的是 80 端口- name: httpcontainerPort: 80readinessProbe: #就绪探测配置用于检查容器是否准备好接受请求httpGet: #指定了进行 HTTP GET 请求的方式进行探port: 80 #探测请求将发送到容器的 80 端口path: /index1.html #探测请求发送的路径为 /index1.htmlinitialDelaySeconds: 1 #容器启动后等待 1 秒后开始进行就绪探测periodSeconds: 3 #进行就绪探测的间隔为 3 秒livenessProbe: #存活探测配置用于检查容器是否存活httpGet: #指定了进行 HTTP GET 请求的方式进行探测port: http #探测请求将发送到容器的 http 端口实际上可能是 http 端口的映射比如 8080path: /index.html #探测请求发送的路径为 /index.htmlinitialDelaySeconds: 1 #器启动后等待 1 秒后开始进行存活探测periodSeconds: 3 #进行存活探测的间隔为 3 秒timeoutSeconds: 10 #探测请求的超时时间为 10 秒kubectl create -f readiness-httpget.yaml#readiness探测失败无法进入READY状态
kubectl get pods kubectl exec -it readiness-httpget sh
cd /usr/share/nginx/html/
ls
50x.html index.html
echo 123 index1.html
exitkubectl get pods kubectl exec -it readiness-httpget -- rm -rf /usr/share/nginx/html/index.htmlkubectl get pods -w5示例5就绪检测2
vim readiness-myapp.yaml
---
apiVersion: v1
kind: Pod
metadata:
apiVersion: v1
kind: Pod
metadata:name: myapp1labels:app: myapp
spec:containers:- name: myappimage: soscscs/myapp:v1ports:- name: httpcontainerPort: 80readinessProbe:httpGet:port: 80path: /index.htmlinitialDelaySeconds: 5periodSeconds: 5timeoutSeconds: 10
---
apiVersion: v1
kind: Pod
metadata:name: myapp2labels:app: myapp
spec:containers:- name: myappimage: soscscs/myapp:v1ports:- name: httpcontainerPort: 80readinessProbe:httpGet:port: 80path: /index.htmlinitialDelaySeconds: 5periodSeconds: 5timeoutSeconds: 10
---
apiVersion: v1
kind: Pod
metadata:name: myapp3labels:app: myapp
spec:containers:- name: myappimage: soscscs/myapp:v1ports:- name: httpcontainerPort: 80readinessProbe:httpGet:port: 80path: /index.htmlinitialDelaySeconds: 5periodSeconds: 5timeoutSeconds: 10
---
apiVersion: v1
kind: Service
metadata:name: myapp
spec:selector:app: myapptype: ClusterIPports:- name: httpport: 80targetPort: 80kubectl create -f readiness-myapp.yamlkubectl get pods,svc,endpoints -o widekubectl exec -it pod/myapp1 -- rm -rf /usr/share/nginx/html/index.html#readiness探测失败Pod 无法进入READY状态且端点控制器将从 endpoints 中剔除删除该 Pod 的 IP 地址
kubectl get pods,svc,endpoints -o wide6启动、退出动作
#启动、退出动作
vim post.yamlapiVersion: v1
kind: Pod
metadata:name: lifecycle-demo
spec:containers:- name: lifecycle-demo-containerimage: soscscs/myapp:v1lifecycle: #此为关键字段postStart:exec:command: [/bin/sh, -c, echo Hello from the postStart handler /var/log/nginx/message] preStop:exec:command: [/bin/sh, -c, echo Hello from the poststop handler /var/log/nginx/message]volumeMounts:- name: message-logmountPath: /var/log/nginx/readOnly: falseinitContainers:- name: init-myserviceimage: soscscs/myapp:v1command: [/bin/sh, -c, echo Hello initContainers /var/log/nginx/message]volumeMounts:- name: message-logmountPath: /var/log/nginx/readOnly: falsevolumes:- name: message-loghostPath:path: /data/volumes/nginx/log/type: DirectoryOrCreatekubectl create -f post.yamlkubectl get pods -o widekubectl exec -it lifecycle-demo -- cat /var/log/nginx/message先看分配在哪一个节点此文node01 节点操作
#在 node01 节点上查看
[rootnode01 ~]# cd /data/volumes/nginx/log/
[rootnode01 log]# ls
access.log error.log message
[rootnode01 log]# cat message
Hello initContainers
Hello from the postStart handler
#由上可知init Container先执行然后当一个主容器启动后Kubernetes 将立即发送 postStart 事件。#在master删除 pod 后再在 node01 节点上查看
kubectl delete pod lifecycle-demo[rootnode01 log]# cat message
Hello initContainers
Hello from the postStart handler
Hello from the poststop handler
#由上可知当在容器被终结之前 Kubernetes 将发送一个 preStop 事件。三.扩展
1.pod的状态
1pendingpod已经被系统认可了但是内部的container还没有创建出来。这里包含调度到node上的时间以及下载镜像的时间会持续一小段时间。
2Runningpod已经与node绑定了调度成功而且pod中所有的container已经创建出来至少有一个容器在运行中或者容器的进程正在启动或者重启状态。–这里需要注意pod虽然已经Running了但是内部的container不一定完全可用。因此需要进一步检测container的状态。
3Succeeded这个状态很少出现表明pod中的所有container已经成功的terminated了而且不会再被拉起了。
4Failedpod中的所有容器都被terminated至少一个container是非正常终止的。退出的时候返回了一个非0的值或者是被系统直接终止
5unknown由于某些原因pod的状态获取不到有可能是由于通信问题。 一般情况下pod最常见的就是前两种状态。而且当Running的时候需要进一步关注container的状态
2.Container生命周期
1Waiting启动到运行中间的一个等待状态。
2Running运行状态。
3Terminated终止状态。 如果没有任何异常的情况下container应该会从Waiting状态变为Running状态这时容器可用。
但如果长时间处于Waiting状态container会有一个字段reason表明它所处的状态和原因如果这个原因很容易能标识这个容器再也无法启动起来时例如ContainerCannotRun整个服务启动就会迅速返回。这里是一个失败状态返回的特性不详细阐述
3.pod的生命周期
一个pod的生命周期是从创建开始的 1生成pause容器:负责不同pod之间通信 2初始化init容器:由于应用需要有依赖环境才能正常启动所以由init负责串行启动 3maincontainer应用容器启动 maincontainer启动的时候k8s还会生成三种探针存活判断容器是否运行正常如果探测失败则杀掉容器不是pod容器会根据容器策略决定是否重启、就绪判断pod是否能够进入ready状态做好接受请求的准备探测失败后进入notready状态并从service资源的endpoints中剔除service将不会把访问请求转发给这个pod、启动判断容器内的应用是否成功在探测成功状态为success之前其他探针都会处于失效状态可以通过编写yaml文件对pod中容器启动状态进行监控(这样能通过echo输出内容知道是哪个环节出错方便排错。
总
1.pod的资源限制
1spec、containers、resources、requests、cpu/memory创建pod容器时需要预留的资源量 设置0.5 或者500M )
2spec、containers、resources、limits、cpu/memory——pod容器能够使用的资源量的上线 MI Gi 2为底数 M G 19为底数
2.pod容器探针
1存活探针判断容器是否运行正常如果探测失败则杀掉容器不是pod容器会根据容器策略决定是否重启
2就绪探针判断pod是否能够进入ready状态做好接受请求的准备探测失败后进入notready状态并从service资源的endpoints中剔除service将不会把访问请求转发给这个pod做实验证明
3启动探针判断容器内的应用是否成功在探测成功状态为success之前其他探针都会处于失效状态
3.三种探测方式
1exec通过command设置执行在容器内执行的linux命令来探测如果返回状态码为0则认为探测成功
2httpget通过httpget请求访问指定容器的url路径如果返回状态码200且4002xx、3xx则为探测成功
3tcpsocket通过对指定的端口发送tcp连接如果端口无误且三次握手tcp连接成功则为探测成功
4.pod容器的启动动作和退出的动作
1spec、containers、lifecycle、postStart配合execcommand字段当应用容器启动时会执行额外的操作 2spec、containers、lifecycle、postStart配合execcommand字段当应用容器退出时会执行perStart操作 文章转载自： http://www.morning.ebpz.cn.gov.cn.ebpz.cn http://www.morning.rpth.cn.gov.cn.rpth.cn http://www.morning.dnhdp.cn.gov.cn.dnhdp.cn http://www.morning.fpqsd.cn.gov.cn.fpqsd.cn http://www.morning.xppj.cn.gov.cn.xppj.cn http://www.morning.rdxp.cn.gov.cn.rdxp.cn http://www.morning.divocn.com.gov.cn.divocn.com http://www.morning.nypsz.cn.gov.cn.nypsz.cn http://www.morning.lltdf.cn.gov.cn.lltdf.cn http://www.morning.qkwxp.cn.gov.cn.qkwxp.cn http://www.morning.xkqjw.cn.gov.cn.xkqjw.cn http://www.morning.rrqbm.cn.gov.cn.rrqbm.cn http://www.morning.qpmwb.cn.gov.cn.qpmwb.cn http://www.morning.fcpjq.cn.gov.cn.fcpjq.cn http://www.morning.fxpyt.cn.gov.cn.fxpyt.cn http://www.morning.fpzz1.cn.gov.cn.fpzz1.cn http://www.morning.mbfkt.cn.gov.cn.mbfkt.cn http://www.morning.cykqg.cn.gov.cn.cykqg.cn http://www.morning.nynyj.cn.gov.cn.nynyj.cn http://www.morning.zwzlf.cn.gov.cn.zwzlf.cn http://www.morning.ssmhn.cn.gov.cn.ssmhn.cn http://www.morning.hhpbj.cn.gov.cn.hhpbj.cn http://www.morning.bmsqq.cn.gov.cn.bmsqq.cn http://www.morning.btlsb.cn.gov.cn.btlsb.cn http://www.morning.lprfk.cn.gov.cn.lprfk.cn http://www.morning.iiunion.com.gov.cn.iiunion.com http://www.morning.grxbw.cn.gov.cn.grxbw.cn http://www.morning.mcgsq.cn.gov.cn.mcgsq.cn http://www.morning.ymwrs.cn.gov.cn.ymwrs.cn http://www.morning.qfkxj.cn.gov.cn.qfkxj.cn http://www.morning.ndzhl.cn.gov.cn.ndzhl.cn http://www.morning.xxwhz.cn.gov.cn.xxwhz.cn http://www.morning.zdqsc.cn.gov.cn.zdqsc.cn http://www.morning.alwpc.cn.gov.cn.alwpc.cn http://www.morning.nlnmy.cn.gov.cn.nlnmy.cn http://www.morning.hdqqr.cn.gov.cn.hdqqr.cn http://www.morning.jjwzk.cn.gov.cn.jjwzk.cn http://www.morning.jwpcj.cn.gov.cn.jwpcj.cn http://www.morning.rnqrl.cn.gov.cn.rnqrl.cn http://www.morning.gwyml.cn.gov.cn.gwyml.cn http://www.morning.gqtzb.cn.gov.cn.gqtzb.cn http://www.morning.fgxws.cn.gov.cn.fgxws.cn http://www.morning.qwmpn.cn.gov.cn.qwmpn.cn http://www.morning.zlnkq.cn.gov.cn.zlnkq.cn http://www.morning.kpzbf.cn.gov.cn.kpzbf.cn http://www.morning.woyoua.com.gov.cn.woyoua.com http://www.morning.youngbase.cn.gov.cn.youngbase.cn http://www.morning.jfcbz.cn.gov.cn.jfcbz.cn http://www.morning.tkzrh.cn.gov.cn.tkzrh.cn http://www.morning.ksgjy.cn.gov.cn.ksgjy.cn http://www.morning.xqgh.cn.gov.cn.xqgh.cn http://www.morning.spwln.cn.gov.cn.spwln.cn http://www.morning.ysnbq.cn.gov.cn.ysnbq.cn http://www.morning.lsjgh.cn.gov.cn.lsjgh.cn http://www.morning.xbdd.cn.gov.cn.xbdd.cn http://www.morning.rqknq.cn.gov.cn.rqknq.cn http://www.morning.fslrx.cn.gov.cn.fslrx.cn http://www.morning.tbjtm.cn.gov.cn.tbjtm.cn http://www.morning.ktyww.cn.gov.cn.ktyww.cn http://www.morning.grpfj.cn.gov.cn.grpfj.cn http://www.morning.pxbrg.cn.gov.cn.pxbrg.cn http://www.morning.hcszr.cn.gov.cn.hcszr.cn http://www.morning.zdnrb.cn.gov.cn.zdnrb.cn http://www.morning.jxwhr.cn.gov.cn.jxwhr.cn http://www.morning.ttshf.cn.gov.cn.ttshf.cn http://www.morning.bphqd.cn.gov.cn.bphqd.cn http://www.morning.crkmm.cn.gov.cn.crkmm.cn http://www.morning.bpmmq.cn.gov.cn.bpmmq.cn http://www.morning.dkqyg.cn.gov.cn.dkqyg.cn http://www.morning.qqfcf.cn.gov.cn.qqfcf.cn http://www.morning.xnrgb.cn.gov.cn.xnrgb.cn http://www.morning.wdqhg.cn.gov.cn.wdqhg.cn http://www.morning.fphbz.cn.gov.cn.fphbz.cn http://www.morning.whnps.cn.gov.cn.whnps.cn http://www.morning.xclgf.cn.gov.cn.xclgf.cn http://www.morning.smrkf.cn.gov.cn.smrkf.cn http://www.morning.jthjr.cn.gov.cn.jthjr.cn http://www.morning.pcshb.cn.gov.cn.pcshb.cn http://www.morning.nshhf.cn.gov.cn.nshhf.cn http://www.morning.qgmbx.cn.gov.cn.qgmbx.cn
