做网站没有手机端,郑州网站建设+论坛,合肥小程序开发费用,有哪些设计公司✨✨谢谢大家捧场#xff0c;祝屏幕前的小伙伴们每天都有好运相伴左右#xff0c;一定要天天开心哦#xff01;✨✨ #x1f388;#x1f388;作者主页#xff1a; 喔的嘛呀#x1f388;#x1f388; 目录
一、引言
二、设计目标
2.1、高可用性
1. 集群搭建
1.1 … ✨✨谢谢大家捧场祝屏幕前的小伙伴们每天都有好运相伴左右一定要天天开心哦✨✨ 作者主页 喔的嘛呀 目录
一、引言
二、设计目标
2.1、高可用性
1. 集群搭建
1.1 Docker Compose配置示例
2. 容错和恢复
2.1 异常检测与自动故障迁移
2.2 Spring Boot代码示例
3. 心跳检测
4. 优雅关闭
2.2、持久性
1. 生产者消息持久化
2. 队列的持久化
3. 消息队列的持久化
总结 2.3、低延迟
1. 异步消息传递
2. 批量消息发送
3. 消息序列化优化
4. 配置消息队列优化参数
总结
2.4、可伸缩性
1. 集群搭建
Docker Compose配置示例
2. 消费者的水平扩展
3. 动态调整资源配置
总结
2.5 顺序性
1. 单一队列实现顺序性
2. 消费者的单线程处理
3. 利用消息的消息头或属性
总结
2.6、监控与管理
1. 健康检查
2. 监控指标
3. 日志和错误处理
4. 运维工具
5. 定期维护
总结
三、架构设计
1. 组件设计
1.1 生产者
1.2 消费者
1.3 消息队列服务
1.4 管理与监控组件
2. 数据存储
3. 分布式一致性
总结 一、引言
消息队列是分布式系统中至关重要的组件之一用于实现异步通信、解耦系统模块、缓解系统压力等。在本文中我们将深入讨论如何设计一个高效可靠的消息队列系统以满足各种应用场景的需求。
二、设计目标
在开始设计之前我们首先要明确设计目标。一个理想的消息队列系统应该具备以下特性
高可用性系统应该能够容忍节点故障保持高可用性。持久性消息在传递过程中不应该丢失即使系统发生故障。低延迟消息传递应该保持低延迟以满足实时性要求。可伸缩性系统应该能够处理不断增长的负载支持水平扩展。顺序性对于需要保持顺序的消息系统应该能够提供有序性保证。监控与管理提供有效的监控和管理手段便于系统运维。
2.1、高可用性
1. 集群搭建
搭建RabbitMQ集群以确保高可用性。一个RabbitMQ集群由多个节点组成每个节点分布在不同的物理服务器上。在节点之间进行数据同步保证即使某个节点宕机其他节点仍能提供服务。
1.1 Docker Compose配置示例
version: 3.7
services:rabbitmq-node1:image: rabbitmq:3.8-managementcontainer_name: rabbitmq-node1ports:- 5672:5672- 15672:15672networks:- rabbitmq-networkenvironment:RABBITMQ_ERLANG_COOKIE: secret_cookieRABBITMQ_NODENAME: rabbitnode1RABBITMQ_CLUSTER_NODE_NAME: rabbitnode1RABBITMQ_CLUSTER_NAME: rabbit-clusterrestart: alwaysrabbitmq-node2:image: rabbitmq:3.8-managementcontainer_name: rabbitmq-node2ports:- 5673:5672- 15673:15672networks:- rabbitmq-networkenvironment:RABBITMQ_ERLANG_COOKIE: secret_cookieRABBITMQ_NODENAME: rabbitnode2RABBITMQ_CLUSTER_NODE_NAME: rabbitnode2RABBITMQ_CLUSTER_NAME: rabbit-clusterrestart: alwaysnetworks:rabbitmq-network:这是一个简单的Docker Compose配置其中包含两个RabbitMQ节点它们通过Erlang Cookie和集群名称连接到一起。
2. 容错和恢复
2.1 异常检测与自动故障迁移
在RabbitMQ中可以使用 RabbitMQ Federation 插件来设置镜像队列确保队列中的消息被复制到多个节点。如果某个节点发生故障系统可以自动从其他节点获取数据保证消息的可用性。
2.2 Spring Boot代码示例
Configuration
public class RabbitMQConfig {Beanpublic CachingConnectionFactory cachingConnectionFactory() {CachingConnectionFactory connectionFactory new CachingConnectionFactory();connectionFactory.setAddresses(node1:5672,node2:5672);connectionFactory.setUsername(guest);connectionFactory.setPassword(guest);connectionFactory.setVirtualHost(/);return connectionFactory;}Beanpublic RabbitTemplate rabbitTemplate(ConnectionFactory connectionFactory) {RabbitTemplate rabbitTemplate new RabbitTemplate(connectionFactory);rabbitTemplate.setMessageConverter(new Jackson2JsonMessageConverter());return rabbitTemplate;}
}在Spring Boot中配置 CachingConnectionFactory 来指定RabbitMQ节点的地址。通过设置多个节点的地址Spring Boot将在节点之间建立连接以实现高可用性。
3. 心跳检测
使用RabbitMQ提供的心跳检测机制监测节点的健康状态。如果某个节点无响应系统可以自动将其从集群中排除并启用备用节点。
4. 优雅关闭
在系统关闭或者节点下线时确保消息队列系统的优雅关闭。Spring Boot提供 PreDestroy 注解可以用于执行一些清理工作。
Component
public class ShutdownHook {PreDestroypublic void onShutdown() {// 执行关闭前的清理工作如释放资源等System.out.println(Shutting down gracefully...);}
}通过搭建RabbitMQ集群、设置镜像队列、使用心跳检测和优雅关闭机制我们可以构建一个具有高可用性的消息队列系统。在实际应用中还需要根据业务场景和系统需求进行更详细的配置和调整确保系统稳定可靠地运行。
2.2、持久性 确保消息的持久性是构建可靠消息队列系统的关键要素。在消息队列中持久性通常涉及到两个方面生产者将消息持久化到队列以及消息队列本身的持久化。
以下是实现消息持久性的关键步骤和Java代码示例使用RabbitMQ作为消息队列系统。
1. 生产者消息持久化
当生产者将消息发送到队列时可以设置消息的持久性属性。这样即使在消息被发送到队列但还未被处理时系统发生故障消息也不会丢失。
import org.springframework.amqp.core.AmqpTemplate;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Component;Component
public class MessageProducer {Autowiredprivate AmqpTemplate amqpTemplate;public void sendMessage(String message) {// 设置消息持久性amqpTemplate.convertAndSend(exchange, routingKey, message, messagePostProcessor - {messagePostProcessor.getMessageProperties().setDeliveryMode(MessageDeliveryMode.PERSISTENT);return messagePostProcessor;});}
}在上述示例中setDeliveryMode(MessageDeliveryMode.PERSISTENT) 将消息标记为持久性。这样即使RabbitMQ节点在消息进入队列但尚未被消费者处理时发生故障消息也会在节点重新启动后仍然存在。
2. 队列的持久化
为了确保即使RabbitMQ服务器重启队列中的消息也不会丢失我们需要将队列设置为持久化。
import org.springframework.amqp.core.Queue;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;Configuration
public class QueueConfiguration {Beanpublic Queue exampleQueue() {// 设置队列持久性return new Queue(exampleQueue, true);}
}在这个示例中通过将 Queue 构造函数的第二个参数设置为 true我们将队列标记为持久化的。这意味着队列的元数据和消息将在RabbitMQ服务器重启后继续存在。
3. 消息队列的持久化
确保RabbitMQ服务器本身的持久性也是重要的。通过在RabbitMQ的配置文件中设置 disk_free_limit 等参数可以将消息队列的元数据和消息数据保存在持久化存储中以防止数据丢失。
总结
通过设置生产者发送的消息和队列本身的持久性以及确保消息队列系统本身的持久性我们可以在系统发生故障时保证消息不会丢失。这对于构建可靠、稳定的消息队列系统至关重要特别是在面对复杂分布式系统的挑战时。 2.3、低延迟
实现低延迟的消息传递对于满足实时性的要求至关重要。在构建消息队列系统时我们可以采取一些策略和技术来降低消息传递的延迟。以下是一些关键点和Java代码示例以使用RabbitMQ实现低延迟的消息传递。
1. 异步消息传递
使用异步消息传递机制允许生产者发送消息而无需等待消费者的响应。这样可以在消息发送的同时继续进行其他操作提高系统的并发性和响应速度。
import org.springframework.amqp.rabbit.core.RabbitTemplate;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Component;Component
public class AsyncMessageProducer {Autowiredprivate RabbitTemplate rabbitTemplate;public void sendAsyncMessage(String message) {// 发送异步消息rabbitTemplate.convertAndSend(exchange, routingKey, message);// 继续执行其他操作而不必等待消息被消费}
}在这个示例中convertAndSend 是一个非阻塞的方法它将消息发送到队列而不会等待确认。
2. 批量消息发送
将多个消息打包成一个批量发送可以降低每个消息的传递时间。这对于需要频繁发送小量消息的场景特别有效。
import org.springframework.amqp.rabbit.core.RabbitTemplate;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Component;Component
public class BatchMessageProducer {Autowiredprivate RabbitTemplate rabbitTemplate;public void sendBatchMessage(ListString messages) {// 批量发送消息for (String message : messages) {rabbitTemplate.convertAndSend(exchange, routingKey, message);}}
}在这个示例中通过循环将多个消息发送到队列可以减少每个消息的传递开销。
3. 消息序列化优化
选择高效的消息序列化方式以降低消息的传递时间。例如使用二进制序列化方式如Google Protocol Buffers或MessagePack相比于JSON或XML通常具有更高的性能。
import com.fasterxml.jackson.databind.ObjectMapper;
import org.springframework.amqp.rabbit.core.RabbitTemplate;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Component;Component
public class BinarySerializationMessageProducer {Autowiredprivate RabbitTemplate rabbitTemplate;Autowiredprivate ObjectMapper objectMapper;public void sendBinaryMessage(Object message) {// 使用二进制序列化方式发送消息byte[] serializedMessage objectMapper.writeValueAsBytes(message);rabbitTemplate.convertAndSend(exchange, routingKey, serializedMessage);}
}在这个示例中ObjectMapper 将对象序列化为字节数组以便使用二进制格式发送。
4. 配置消息队列优化参数
通过配置消息队列的一些优化参数可以降低传递消息的延迟。例如设置队列的 x-message-ttl 参数以定义消息的最大存活时间。
import org.springframework.amqp.core.Queue;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;Configuration
public class QueueConfiguration {Beanpublic Queue exampleQueue() {// 设置队列的消息存活时间毫秒return new Queue(exampleQueue, true, false, false, ImmutableMap.of(x-message-ttl, 5000));}
}在这个示例中通过 ImmutableMap.of(x-message-ttl, 5000) 设置消息的最大存活时间为5秒。
总结
通过采用异步消息传递、批量消息发送、选择高效的消息序列化方式以及配置消息队列的优化参数我们可以有效降低消息传递的延迟满足实时性的要求。在实际应用中需要根据具体场景和需求进行更详细的优化和调整。
2.4、可伸缩性
实现消息队列系统的可伸缩性是确保系统能够处理不断增长负载的关键。以下是一些关键点和Java代码示例以使用RabbitMQ实现可伸缩的消息队列系统。
1. 集群搭建
构建消息队列系统的集群是实现可伸缩性的基础。通过在不同的节点上部署多个消息队列服务可以有效地分摊负载并提高系统的整体吞吐量。
Docker Compose配置示例
version: 3.7
services:rabbitmq-node1:image: rabbitmq:3.8-managementcontainer_name: rabbitmq-node1ports:- 5672:5672- 15672:15672networks:- rabbitmq-networkenvironment:RABBITMQ_ERLANG_COOKIE: secret_cookieRABBITMQ_NODENAME: rabbitnode1RABBITMQ_CLUSTER_NODE_NAME: rabbitnode1RABBITMQ_CLUSTER_NAME: rabbit-clusterrestart: alwaysrabbitmq-node2:image: rabbitmq:3.8-managementcontainer_name: rabbitmq-node2ports:- 5673:5672- 15673:15672networks:- rabbitmq-networkenvironment:RABBITMQ_ERLANG_COOKIE: secret_cookieRABBITMQ_NODENAME: rabbitnode2RABBITMQ_CLUSTER_NODE_NAME: rabbitnode2RABBITMQ_CLUSTER_NAME: rabbit-clusterrestart: alwaysnetworks:rabbitmq-network:通过在不同的节点上运行RabbitMQ实例可以形成一个集群以提高系统的可伸缩性。
2. 消费者的水平扩展
通过将消费者部署在多个实例上实现对消费者的水平扩展。这样可以提高消息处理的并发性能。
import org.springframework.amqp.rabbit.annotation.RabbitListener;
import org.springframework.stereotype.Component;Component
public class Consumer {RabbitListener(queues exampleQueue)public void handleMessage(String message) {// 处理接收到的消息System.out.println(Received message: message);}
}在上述示例中可以启动多个具有相同 RabbitListener 注解的消费者实例它们将同时监听同一个队列实现消费者的水平扩展。
3. 动态调整资源配置
通过动态调整消息队列服务的资源配置可以根据系统负载实时进行扩展或缩小。在Docker Compose配置中可以使用scale指令启动多个节点实例。
services:rabbitmq-node1:# ...deploy:replicas: 3 # 指定节点数量# ...rabbitmq-node2:# ...deploy:replicas: 3 # 指定节点数量# ...在实际应用中根据系统监控数据和负载情况动态调整实例数量和配置以实现系统的弹性伸缩。
总结
通过构建消息队列系统的集群、实现消费者的水平扩展、以及动态调整资源配置可以有效地提高系统的可伸缩性使其能够处理不断增长的负载。在实际应用中需要结合具体场景和需求根据监控数据进行及时的调整和优化。
2.5 顺序性
保证消息的顺序性是在某些场景中非常重要的需求例如在处理事务性消息或者处理业务逻辑依赖于消息顺序的情况。在消息队列系统中有一些策略和技术可以用来确保消息的有序性。
以下是一些关键点和Java代码示例以使用RabbitMQ实现有序性保证的消息队列系统。
1. 单一队列实现顺序性
将所有需要保持顺序的消息发送到同一个队列通过单一队列来保证消息的顺序性。
import org.springframework.amqp.rabbit.core.RabbitTemplate;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Component;Component
public class OrderedMessageProducer {Autowiredprivate RabbitTemplate rabbitTemplate;public void sendOrderedMessage(String message, int sequence) {// 发送有序消息使用sequence作为routing keyrabbitTemplate.convertAndSend(ordered_exchange, String.valueOf(sequence), message);}
}在上述示例中使用sequence作为消息的routing key确保消息发送到同一个队列中。
2. 消费者的单线程处理
在消费者端可以通过使用单线程来处理消息确保消费者按照顺序处理消息。
import org.springframework.amqp.rabbit.annotation.RabbitListener;
import org.springframework.stereotype.Component;Component
public class OrderedConsumer {RabbitListener(queues ordered_queue)public void handleMessage(String message) {// 处理接收到的有序消息System.out.println(Received ordered message: message);}
}在上述示例中通过RabbitListener注解确保消息在同一个消费者实例的单线程中按照顺序处理。
3. 利用消息的消息头或属性
消息队列系统通常提供一些额外的消息头或属性来帮助实现有序性。例如RabbitMQ提供了x-death属性可以用于获取消息的死信信息以此判断消息的处理状态。
import org.springframework.amqp.core.Message;
import org.springframework.amqp.rabbit.annotation.RabbitListener;
import org.springframework.stereotype.Component;Component
public class OrderedConsumer {RabbitListener(queues ordered_queue)public void handleMessage(Message message) {// 获取消息的死信信息MapString, Object deathHeaders message.getMessageProperties().getHeaders();// 根据死信信息判断消息的处理状态// ...}
}在实际应用中可以根据具体的需求和场景选择合适的方式来实现有序性保证。
总结
通过将有序消息发送到同一个队列使用单线程处理消费者或者利用消息的消息头或属性我们可以在消息队列系统中实现有序性保证。在选择策略时需要根据实际需求和系统规模综合考虑。 2.6、监控与管理
在构建消息队列系统时提供有效的监控和管理手段对于系统的运维至关重要。这涉及到监控系统的健康状况、性能指标、以及执行维护和管理操作的能力。以下是一些建议和Java代码示例使用RabbitMQ为例来实现监控与管理功能。
1. 健康检查
实现一个简单的健康检查接口供运维人员使用用于检查消息队列系统是否正常运行。
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;RestController
public class HealthCheckController {GetMapping(/health)public String healthCheck() {// 检查消息队列系统的健康状况// ...return OK;}
}在上述示例中/health 路径是一个用于健康检查的端点返回 OK 表示系统正常。
2. 监控指标
使用监控工具例如Prometheus或者Spring Boot Actuator来收集和暴露消息队列系统的性能指标。
import org.springframework.boot.actuate.endpoint.annotation.Endpoint;
import org.springframework.boot.actuate.endpoint.annotation.ReadOperation;
import org.springframework.stereotype.Component;Component
Endpoint(id rabbitmq)
public class RabbitMQMetricsEndpoint {ReadOperationpublic RabbitMQMetrics getMetrics() {// 获取RabbitMQ相关的性能指标// ...return new RabbitMQMetrics(/* 指标数据 */);}
}在上述示例中通过创建一个自定义的Actuator端点可以将RabbitMQ的性能指标暴露出来方便监控。
3. 日志和错误处理
配置合适的日志记录确保错误和异常情况能够被及时捕获和记录。使用工具或系统来集中收集日志信息以便于分析和排查问题。
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.amqp.rabbit.listener.ConditionalRejectingErrorHandler;public class CustomErrorHandler extends ConditionalRejectingErrorHandler {private static final Logger logger LoggerFactory.getLogger(CustomErrorHandler.class);Overridepublic void handleError(Throwable t) {// 记录错误日志logger.error(Error in RabbitMQ message processing, t);super.handleError(t);}
}在上述示例中通过自定义错误处理器可以在消息处理发生错误时记录相关的日志信息。
4. 运维工具
使用专业的运维工具例如RabbitMQ Management Plugin可以通过Web界面轻松地监控和管理RabbitMQ。通过提供友好的用户界面运维人员可以更方便地查看队列状态、执行操作等。
5. 定期维护
定期执行系统维护操作例如清理过期的消息、检查节点健康状态、更新系统配置等。可以通过定时任务或者集成现有的调度工具来执行这些操作。
import org.springframework.scheduling.annotation.Scheduled;
import org.springframework.stereotype.Component;Component
public class MaintenanceTask {Scheduled(cron 0 0 2 * * ?) // 每天凌晨2点执行public void performMaintenance() {// 执行系统维护操作// ...}
}在上述示例中通过使用Spring的定时任务可以定期执行维护操作。
总结
通过实现健康检查、暴露监控指标、配置日志和错误处理、使用运维工具以及定期维护等手段可以为消息队列系统提供有效的监控和管理手段以便于系统运维。在实际应用中根据具体需求选择合适的工具和策略。 三、架构设计
1. 组件设计
1.1 生产者
生产者负责将消息发送到消息队列系统中。在设计中生产者可以通过REST API或者消息协议如AMQP、Kafka协议与消息队列进行通信。
1.2 消费者
消费者从消息队列中订阅并消费消息。消费者可以通过订阅特定的主题或队列以接收感兴趣的消息。
1.3 消息队列服务
消息队列服务是核心组件负责存储和分发消息。它包含多个节点以确保高可用性并提供消息的持久性保证。
1.4 管理与监控组件
为了方便系统运维设计一个管理与监控组件用于监视消息队列的状态、执行维护操作并提供合适的API供运维人员使用。
2. 数据存储
消息队列的数据存储通常采用高性能的存储引擎支持快速读写操作。对于持久性要求高的系统可以使用分布式文件系统或者分布式数据库。
3. 分布式一致性
保证分布式系统的一致性是设计中的难点之一。采用分布式事务、选举算法和副本机制来确保系统在节点故障时依然保持一致性。 总结
设计一个高效可靠的消息队列系统需要综合考虑架构、一致性、性能和可维护性等多个方面。上述代码示例使用了Spring Boot和RabbitMQ但具体的技术选型可以根据项目需求和团队熟悉度来定。在实际应用中还需考虑安全性、容灾性、监控等方面的问题以确保系统能够稳定、可靠地运行。 文章转载自： http://www.morning.bqrd.cn.gov.cn.bqrd.cn http://www.morning.dnwlb.cn.gov.cn.dnwlb.cn http://www.morning.bklkt.cn.gov.cn.bklkt.cn http://www.morning.jppb.cn.gov.cn.jppb.cn http://www.morning.xzrbd.cn.gov.cn.xzrbd.cn http://www.morning.ryysc.cn.gov.cn.ryysc.cn http://www.morning.lwnb.cn.gov.cn.lwnb.cn http://www.morning.21r000.cn.gov.cn.21r000.cn http://www.morning.8yitong.com.gov.cn.8yitong.com http://www.morning.rbjth.cn.gov.cn.rbjth.cn http://www.morning.cbnxq.cn.gov.cn.cbnxq.cn http://www.morning.yunease.com.gov.cn.yunease.com http://www.morning.kwpnx.cn.gov.cn.kwpnx.cn http://www.morning.bswxt.cn.gov.cn.bswxt.cn http://www.morning.jrhcp.cn.gov.cn.jrhcp.cn http://www.morning.qgcfb.cn.gov.cn.qgcfb.cn http://www.morning.daidudu.com.gov.cn.daidudu.com http://www.morning.ygpdm.cn.gov.cn.ygpdm.cn http://www.morning.hpspr.com.gov.cn.hpspr.com http://www.morning.hwnnh.cn.gov.cn.hwnnh.cn http://www.morning.zlwg.cn.gov.cn.zlwg.cn http://www.morning.egmux.cn.gov.cn.egmux.cn http://www.morning.xnqjs.cn.gov.cn.xnqjs.cn http://www.morning.bwgrd.cn.gov.cn.bwgrd.cn http://www.morning.kgxyd.cn.gov.cn.kgxyd.cn http://www.morning.ydrml.cn.gov.cn.ydrml.cn http://www.morning.rdkqt.cn.gov.cn.rdkqt.cn http://www.morning.prhfc.cn.gov.cn.prhfc.cn http://www.morning.ndxrm.cn.gov.cn.ndxrm.cn http://www.morning.sxygc.cn.gov.cn.sxygc.cn http://www.morning.fpjxs.cn.gov.cn.fpjxs.cn http://www.morning.gpryk.cn.gov.cn.gpryk.cn http://www.morning.mnmrx.cn.gov.cn.mnmrx.cn http://www.morning.qpsxz.cn.gov.cn.qpsxz.cn http://www.morning.pbksb.cn.gov.cn.pbksb.cn http://www.morning.mqwnz.cn.gov.cn.mqwnz.cn http://www.morning.nyzmm.cn.gov.cn.nyzmm.cn http://www.morning.ljsxg.cn.gov.cn.ljsxg.cn http://www.morning.tstwx.cn.gov.cn.tstwx.cn http://www.morning.lwtfr.cn.gov.cn.lwtfr.cn http://www.morning.fllfz.cn.gov.cn.fllfz.cn http://www.morning.nzmw.cn.gov.cn.nzmw.cn http://www.morning.piekr.com.gov.cn.piekr.com http://www.morning.yckwt.cn.gov.cn.yckwt.cn http://www.morning.kxwsn.cn.gov.cn.kxwsn.cn http://www.morning.gslz.com.cn.gov.cn.gslz.com.cn http://www.morning.bpmtj.cn.gov.cn.bpmtj.cn http://www.morning.rrxnz.cn.gov.cn.rrxnz.cn http://www.morning.fdrch.cn.gov.cn.fdrch.cn http://www.morning.qfrmy.cn.gov.cn.qfrmy.cn http://www.morning.bygyd.cn.gov.cn.bygyd.cn http://www.morning.rlcqx.cn.gov.cn.rlcqx.cn http://www.morning.lmfxq.cn.gov.cn.lmfxq.cn http://www.morning.aishuxue.com.cn.gov.cn.aishuxue.com.cn http://www.morning.nzmqn.cn.gov.cn.nzmqn.cn http://www.morning.zqybs.cn.gov.cn.zqybs.cn http://www.morning.tqbyw.cn.gov.cn.tqbyw.cn http://www.morning.bzlfw.cn.gov.cn.bzlfw.cn http://www.morning.lkkkf.cn.gov.cn.lkkkf.cn http://www.morning.hrydl.cn.gov.cn.hrydl.cn http://www.morning.dybth.cn.gov.cn.dybth.cn http://www.morning.czqqy.cn.gov.cn.czqqy.cn http://www.morning.tgts.cn.gov.cn.tgts.cn http://www.morning.skkmz.cn.gov.cn.skkmz.cn http://www.morning.wtcbl.cn.gov.cn.wtcbl.cn http://www.morning.ypqwm.cn.gov.cn.ypqwm.cn http://www.morning.qgzmz.cn.gov.cn.qgzmz.cn http://www.morning.ftsmg.com.gov.cn.ftsmg.com http://www.morning.ylljn.cn.gov.cn.ylljn.cn http://www.morning.brxzt.cn.gov.cn.brxzt.cn http://www.morning.bsbcp.cn.gov.cn.bsbcp.cn http://www.morning.xzlp.cn.gov.cn.xzlp.cn http://www.morning.rwbx.cn.gov.cn.rwbx.cn http://www.morning.fwmln.cn.gov.cn.fwmln.cn http://www.morning.lgrkr.cn.gov.cn.lgrkr.cn http://www.morning.cdlewan.com.gov.cn.cdlewan.com http://www.morning.yxwcj.cn.gov.cn.yxwcj.cn http://www.morning.ssjry.cn.gov.cn.ssjry.cn http://www.morning.jkmjm.cn.gov.cn.jkmjm.cn http://www.morning.srgnd.cn.gov.cn.srgnd.cn
