虚拟主机 多个网站,辽阳市城市建设档案馆网站,金融企业网站模板,uc推广登录入口刚刚MiniMax发布了MiniMax-01#xff0c;简单测试了效果#xff0c;感觉不错。于是又把它的技术报告看了一下。这种报告看多了#xff0c;就会多一个毛病#xff0c;越来越觉得自己也能搞一个。
这篇文章我觉得最有意思的一句是对数据质量的强调“低质量数据在训练超过两个…刚刚MiniMax发布了MiniMax-01简单测试了效果感觉不错。于是又把它的技术报告看了一下。这种报告看多了就会多一个毛病越来越觉得自己也能搞一个。
这篇文章我觉得最有意思的一句是对数据质量的强调“低质量数据在训练超过两个epoch后性能显著下降而高质量数据可以有效地训练多达四个epoch” MiniMax-01系列模型通过创新的Lightning Attention和专家混合Mixture of Experts, MoE架构实现了在长上下文处理上的突破性进展。
PaperMiniMax-01: Scaling Foundation Models with Lightning Attention
论文链接https://filecdn.minimax.chat/_Arxiv_MiniMax_01_Report.pdf
Github地址https://github.com/MiniMax-AI/MiniMax-01
使用地址https://hailuoai.com/一、引言
近年来大型语言模型LLM和视觉语言模型VLM在知识问答、复杂推理、数学、编程和视觉语言理解等任务上取得了显著进展。然而大多数模型的上下文窗口长度通常在32K到256K token之间这在实际应用中往往显得捉襟见肘。无论是处理一本专业书籍、协助整个编程项目还是通过多示例学习最大化上下文学习的潜力现有的上下文长度都显得不足。
过去两年中上下文窗口的扩展主要依赖于更强大的GPU和更好的I/O感知的softmax注意力实现。然而进一步扩展这些窗口面临着巨大的挑战这源于Transformer架构固有的二次计算复杂度——随着长度的增加计算需求远远超过硬件能力的提升速度。为了应对这一挑战研究人员提出了多种方法来减少注意力机制的计算复杂度包括稀疏注意力、线性注意力、长卷积、状态空间模型和线性RNN等。尽管这些方法在理论上具有潜力但在商业规模的模型中应用有限。 MiniMax-01的目标是构建一个与领先商业模型性能相当但上下文窗口长度提升一个数量级的模型。这一雄心勃勃的目标需要在网络架构、数据和计算之间找到平衡。MiniMax-01采用了混合架构结合了闪电注意力和softmax注意力并通过专家混合MoE架构最大化参数和计算能力最终实现了在单台机器上处理超过100万token的能力。 二、模型架构
MiniMax-01的架构设计旨在在有限的资源下实现最佳性能并更好地处理长序列。为了实现这一目标模型采用了专家混合MoE方法并尽可能使用线性注意力Linear Attention代替传统的softmax注意力。以下是对模型架构的详细解析。 2.1 专家混合MoE
专家混合Mixture of Experts, MoE是一种通过将多个前馈网络FFN专家组合在一起每个token被路由到一个或多个专家的架构。这种设计不仅增强了模型的扩展性还提高了计算效率。MiniMax-01的MoE架构包含32个专家总参数量达到4560亿每个token激活的参数量为459亿。 在MoE的训练过程中每个专家都有一个容量限制指定其可以处理的最大token数量。一旦达到容量任何额外的token将被丢弃。为了确保负载平衡MiniMax-01引入了一种全局路由策略通过同步不同专家并行组EP中的token分布减少了token丢弃率从而提高了训练的稳定性。 2.2 线性注意力Linear Attention
线性注意力Linear Attention通过“右积核技巧”将传统的二次计算复杂度转化为线性复杂度显著降低了长序列处理的计算负担。具体来说线性注意力通过递归更新键值矩阵的乘积避免了重复计算整个注意力矩阵从而在推理过程中保持了恒定的计算复杂度。
MiniMax-01采用了Lightning Attention这是一种I/O感知的线性注意力实现。Lightning Attention通过分块计算避免了因果语言建模中的累积求和操作从而实现了理论上的线性复杂度。具体来说Lightning Attention将注意力计算分为块内计算和块间计算两部分块内计算使用左积块间计算使用右积。这种分块策略确保了整体计算复杂度保持线性。 Lightning Attention的核心创新在于其分块技术。通过将查询Q、键K和值V矩阵沿行维度划分为多个块Lightning Attention能够在每个块内独立计算注意力分数从而避免了全局累积求和操作。这种设计不仅提高了计算效率还使得模型能够处理更长的序列。 2.3 混合架构
MiniMax-01的最终架构结合了线性注意力和softmax注意力每7个线性注意力层后跟随一个softmax注意力层。这种混合架构不仅提升了模型的推理能力还在长上下文任务中表现出色。
具体来说MiniMax-01的架构遵循Transformer风格每个块包含一个通道混合器注意力块和一个特征混合器MLP块。通道混合器有两种类型Lightning Attention和softmax注意力。特征混合器则是一个包含多个前馈网络FFN的MoE。为了确保MoE块的负载平衡MiniMax-01提出了一种新的负载平衡策略称为全局路由器Global Router该策略旨在保持训练的稳定性。
在MiniMax-01的最终架构中线性注意力和softmax注意力机制以结构化模式集成。具体来说每7个线性注意力层后跟随一个softmax注意力层总共有80层。每个注意力模块由64个头组成每个头的维度为128。softmax注意力层采用组查询注意力GQA组大小为8。旋转位置嵌入RoPE应用于一半的注意力头维度基础频率设置为10,000。模型的隐藏大小配置为6144每层包含32个专家采用top-2路由策略。每个专家内的前馈网络隐藏维度为9216。
2.4 模块消融实验
为了验证MoE架构中模块选择的有效性MiniMax-01进行了两组消融实验
Lightning Attention与softmax注意力的比较
在28亿参数的MoE模型中每8个连续层中的前7层用Lightning Attention替换softmax注意力。实验结果表明替换部分softmax注意力层可以提高大多数基准测试的准确性。
前层归一化与后层归一化的比较
MiniMax-01在93亿激活参数的模型上进行了实验比较了前层归一化PreNorm和后层归一化PostNorm的效果。实验结果表明PostNorm在所有评估指标上均优于PreNorm。
通过这些实验MiniMax-01进一步验证了其架构设计的有效性确保了模型在长上下文任务中的优异表现。 三、计算优化
MiniMax-01的计算优化是其能够在数百亿参数的模型上实现高效训练和推理的关键。为了应对大规模模型训练和长上下文处理中的挑战MiniMax-01在计算优化方面进行了多项创新主要集中在三个方面专家混合MoE架构的优化、长上下文处理的优化以及Lightning Attention推理的优化。以下是对这些优化策略的详细解析。
3.1 MoE优化
专家混合MoE架构的主要挑战在于减少训练过程中的通信开销尤其是在使用全对全all-to-all, a2a通信时。MoE模型的专家参数通常分布在多个GPU上通信开销会显著影响训练效率。 MiniMax-01通过以下策略优化了MoE架构
基于token分组的重叠计算
MiniMax-01设计了一种基于token分组的重叠计算方案将a2a通信与不同专家组的计算重叠进行。具体来说a2a通信在专家并行EP通信组内执行并与不同专家组的token处理重叠。为了确保通信结果的正确性每个进程组ProcessGroup按顺序执行通信操作从而避免了不同组之间的通信重叠。这种策略显著提升了性能但同时也带来了计算强度与内存使用之间的权衡。
专家张量并行ETP与专家数据并行EDP
为了进一步优化MoE的训练效率MiniMax-01引入了专家张量并行Expert Tensor Parallel, ETP和专家数据并行Expert Data Parallel, EDP策略。ETP负责管理专家权重的分区而EDP则负责相同专家的数据并行。通过这种设计MiniMax-01能够完全解耦MoE组件与非MoE组件的并行策略从而灵活配置ETP以实现内存使用和计算强度之间的最佳平衡。
EP-ETP重叠策略
为了最大化网络资源和计算资源的利用率MiniMax-01设计了EP-ETP重叠策略。该策略通过延长计算时间增加了通信与计算重叠的机会从而显著提升了整体性能。实验表明这种优化策略将MoE组件的纯通信开销减少了50%显著提高了训练效率。 3.2 长上下文优化
MiniMax-01的目标是支持至少100万token的上下文窗口这对模型的训练和推理提出了极高的要求。为了应对这一挑战MiniMax-01在长上下文处理上进行了多项优化。 数据打包Data-Packing
在长上下文训练中传统的填充padding方法会导致大量计算浪费。MiniMax-01采用了数据打包技术将不同样本沿序列维度连接从而减少了计算浪费。这种格式在训练过程中最小化了计算资源的浪费尤其是在100万token的上下文窗口下显著提升了计算效率。
变长环形注意力Varlen Ring Attention
对于softmax注意力环形注意力Ring Attention算法提供了一种有效的数据分区方法能够实现无限扩展。然而现有的环形注意力实现并未针对数据打包格式进行优化。MiniMax-01重新设计了环形注意力算法提出了变长环形注意力Varlen Ring Attention直接在整个序列上应用环形注意力机制避免了传统方法中的过度填充和计算浪费。
改进的线性注意力序列并行LASP
对于Lightning AttentionMiniMax-01改进了线性注意力序列并行Linear Attention Sequence Parallelism, LASP算法。原始的LASP算法要求所有计算节点CP rank通过发送-接收操作交换中间键值KV块结果这导致了计算节点之间的顺序依赖限制了并行计算的效率。MiniMax-01提出的LASP算法通过以下步骤消除了这种依赖 本地前缀和计算每个计算节点独立计算其本地前缀和KV_t。 全局同步通过AllGather操作同步所有节点的信息。 前缀和计算每个节点选择特定的CP rank的KV_t来计算全局前缀和KV_G。 这种优化将串行计算转化为并行计算显著提升了训练效率。实验表明LASP算法的计算速度可以达到原始LASP算法的1/N_penN_pen为并行计算节点数同时AllGather操作的开销极小。
变长特征支持
MiniMax-01进一步为LASP算法引入了变长特征支持以有效管理数据打包格式。具体来说每个输入在批处理中被填充到预定义的块大小256然后按顺序连接。这种设计使得模型能够处理具有不同token长度的批处理输入同时最大限度地利用GPU的并行计算能力。
3.3 Lightning Attention推理优化
Lightning Attention的初始实现主要面向研究尚未完全适用于实际推理场景。为了优化推理效率MiniMax-01在Lightning Attention的推理过程中实施了四项优化策略。
批处理内核融合
在预填充阶段MiniMax-01对Q、K、V张量的处理进行了内核融合包括序列维度的填充、分块、内部布局调整和衰减值计算。在解码阶段MiniMax-01对KV计算和前缀KV缓存的更新进行了内核融合。这些优化减少了中间结果的存储和内存访问操作显著提升了内存访问效率并在短文本输入场景下将端到端延迟降低了10%。
分离预填充和解码执行
Lightning Attention的长序列计算主要围绕块内和块间计算的区分。然而在推理任务中解码阶段的token长度通常为1这种设计并不最优。MiniMax-01提出了一种策略将长度为1的token与长度大于1的token分开处理使用两个不同的内核并通过两个独立的CUDA流并行调度这些内核。这种策略显著提升了计算效率尤其是在混合输入场景下。
多级填充
通过在Q、K、V张量的序列维度上应用填充MiniMax-01将块内和块间计算分解为多个相同的矩阵乘法。这种分解与StridedBatchedMatmul接口无缝对接从而最大限度地利用了并行处理能力。为了进一步减少冗余计算MiniMax-01引入了额外的分段选项32、64和128根据当前输入序列长度动态选择计算规模。
StridedBatchedMatmul扩展
MiniMax-01利用NVIDIA cuBLAS库中的cublasGemmStridedBatchedEx函数管理StridedBatchedMatmul操作确保了跨不同硬件架构的高性能和多功能性。此外MiniMax-01正在实施更广泛的内核融合策略以进一步提升Hopper GPU的计算效率。
通过这些优化MiniMax-01在H20 GPU上的端到端推理任务中实现了超过75%的模型浮点运算利用率MFU。在MiniMax-Text-01和MiniMax-VL-01的推理中softmax注意力在102.4万token序列长度下占用了95%的延迟而Lightning Attention的实现仅占用了不到12%的延迟。 四、预训练
MiniMax-01的预训练过程是其能够在长上下文任务中表现出色的关键。为了构建一个强大的基础模型MiniMax-01在数据选择、数据格式优化、数据混合策略以及长上下文扩展等方面进行了精心设计和优化。以下是对预训练过程的详细解析。
4.1 数据
MiniMax-01的预训练数据是其成功的基础。为了确保模型的高性能MiniMax-01在数据质量、数据格式和数据混合策略上进行了多项创新。
4.1.1 预训练语料库
MiniMax-01的预训练语料库涵盖了多种来源包括学术文献、书籍、网页内容和编程代码。为了确保数据的高质量MiniMax-01采用了以下策略
数据质量增强
通过结合规则清洗和去重程序MiniMax-01对文档质量进行了严格评估。模型使用前一代MiniMax模型作为奖励标签器评估文档的连贯性、简洁性、教育价值、帮助性、知识丰富性和类别相关性。最终MiniMax-01聚焦于三个关键维度知识深度、实用帮助性和类别分布同时将其他指标作为次要验证指标。
数据格式优化
对于网页和书籍内容MiniMax-01在提取和清洗后直接使用无需进一步格式化。对于对话和问答数据MiniMax-01采用了嵌套文档格式使用灵活的模板来平衡自然理解与结构一致性。这种设计确保了模型在多种交互模式下的泛化能力。
数据混合策略
MiniMax-01开发了一种复杂的数据分布调整方法基于知识深度和帮助性等质量指标进行采样权重调整。实验表明完全剔除低质量内容可能会对下游任务性能产生负面影响因此MiniMax-01采用了平衡采样策略确保高质量内容的优先性同时保留多样化的类别。
4.1.2 分词
MiniMax-01采用了字节级字节对编码Byte-level Byte Pair Encoding, BPE进行分词词汇表大小为20万。为了提升多语言内容的压缩效率MiniMax-01对多语言内容进行了上采样。
4.1.3 数据实验
为了系统评估预训练数据质量、格式和组成的影响MiniMax-01进行了广泛的数据消融实验。通过训练多个小规模MoE模型MiniMax-01能够隔离和测量单个数据属性的影响同时保持计算效率。
4.1.4 重复数据的影响
重复数据对模型性能和泛化能力有显著的负面影响。MiniMax-01引入了重复感知实验框架通过全局去重和按训练计划下采样文档确保数据效率与最终训练阶段一致。实验表明低质量数据在训练超过两个epoch后性能显著下降而高质量数据可以有效地训练多达四个epoch。
4.2 训练策略
MiniMax-01的训练策略是其能够在长上下文任务中表现出色的关键。通过精心设计的初始化、学习率调度和长上下文扩展策略MiniMax-01成功将训练上下文长度扩展到100万token。 4.2.1 初始预训练
MiniMax-01使用Xavier初始化方法初始化所有模型参数DeepNorm的缩放因子设置为α(2N)0.25和β(8N)-0.25其中N为层数。模型采用AdamW优化器β10.9β20.95权重衰减为0.1。训练序列长度为8192批量大小从初始的1600万逐步增加到7900亿token时的6400万最终在4.7万亿token时增加到1.28亿。
4.2.2 长上下文扩展
MiniMax-01通过三阶段训练过程逐步将模型的训练上下文长度扩展到100万token。每个阶段的训练数据混合、RoPE基础频率和训练长度如下表所示 在每个阶段的最后20%训练周期中MiniMax-01混合了10%的高质量长上下文问答数据以确保模型在长上下文任务中的表现。为了缓解分布变化带来的不稳定性MiniMax-01采用了源特定权重的线性插值方法逐步将数据分布过渡到目标分布。
4.2.3 长上下文评估
MiniMax-01在长上下文扩展过程中使用更复杂的任务评估模型的中间检查点。尽管NIAHNeedle in a Haystack任务在早期训练阶段就达到了峰值性能但MiniMax-01通过引入更具挑战性的任务确保了模型在长上下文处理能力上的持续提升。 六、视觉语言模型
MiniMax-VL-01是MiniMax-01的视觉语言版本通过集成图像编码器和图像适配器模型具备了强大的视觉理解能力。MiniMax-VL-01的训练过程分为四个阶段逐步提升了模型在多模态任务中的表现。以下是对视觉语言模型的详细解析。
6.1 多模态数据
MiniMax-VL-01的训练数据是其成功的基础。为了确保模型在多模态任务中的优异表现MiniMax-01在数据选择、数据格式和数据混合策略上进行了精心设计和优化。
6.1.1 图像-标题数据
为了预训练视觉编码器MiniMax-VL-01从互联网来源收集并过滤了大量的图像-标题对。模型使用6.94亿个独特的图像-标题对进行训练。为了提升数据质量MiniMax-VL-01获取了1.8亿张图像的精细标题并在训练过程中随机采样原始和精细标题确保数据的多样性和高质量。
6.1.2 描述数据
描述数据在现有的视觉语言模型中被证明对模型训练具有显著效用。MiniMax-VL-01从开放资源如Common Crawl中收集了1亿张图像每张图像都配有一个精细的描述。这些描述平均包含约300个文本token为模态对齐和增强理解提供了强大的资源。
6.1.3 指令数据
为了训练MiniMax-VL-01模型构建了一个全面的指令数据集涵盖了广泛的视觉相关任务如文本提取、对象定位和几何问题求解。数据集生成过程优先考虑多样性和真实性确保指令捕捉到不同复杂度和语言风格的任务。
6.1.4 数据分布
为了展示多模态数据的多样性MiniMax-VL-01从指令数据中均匀采样了100万个图像-指令对并使用另一个视觉语言模型为每对分配一个简洁的标签如对象定位。分析结果显示这些标签涵盖了约5万个独特的标签其中前2817个标签出现次数超过10次。这些标签被进一步分为14个主要类别如图像分类、对象检测和视觉问答等。 6.2 架构
MiniMax-VL-01的架构设计遵循了“ViT-MLP-LLM”范式这一范式在众多多模态大语言模型MLLM中得到了广泛应用。架构主要由三个部分组成视觉TransformerViT、两层MLP投影器和MiniMax-Text-01模型。
6.2.1 整体架构
MiniMax-VL-01的架构包括 视觉编码器一个303M参数的ViT用于视觉编码。 图像适配器一个两层MLP投影器随机初始化用于图像适配。 语言模型MiniMax-Text-01作为基础大语言模型LLM。
MiniMax-VL-01采用动态分辨率策略根据预定义的网格配置列表调整输入图像的分辨率范围从336×336到2016×2016。调整后的图像被分割成非重叠的336×336 patch每个patch和缩略图分别编码并将编码特征连接起来构建全面的图像特征表示。
6.2.2 视觉编码器
MiniMax-VL-01采用轻量级的ViT-L/14作为视觉编码器的基础结构并从头开始训练。输入图像张量首先通过卷积层提取离散patch然后附加绝对位置嵌入。结果张量通过一系列多头残差注意力块传递有效捕捉图像中的复杂细节和相互关系。
MiniMax-VL-01使用对比学习来增强图像-标题对之间的对齐同时减少非对应对的对齐。具体来说模型遵循CoCa方法通过额外的解码器和图像-文本交叉注意力机制增强图像-文本对比学习。网络通过对比损失和交叉熵损失联合优化。
ViT-L/14模型首先在224×224分辨率下训练370亿个图像-标题对然后在336×336分辨率下微调12亿对。在这两种分辨率下标题被截断为76个token。ViT-L/14编码器在ImageNet-1K数据集上的零样本分类准确率达到80.55%。
6.3 训练方法
MiniMax-VL-01的训练分为四个阶段逐步提升模型在多模态任务中的表现。
6.3.1 模态对齐
在第一阶段MiniMax-VL-01的主要目标是实现视觉和文本token之间的对齐使模型能够为给定图像生成适当的标题。为此模型更新图像适配器和视觉编码器的权重优化其在多模态任务中的表现。此阶段使用了800亿个token的图像描述数据。
6.3.2 视觉理解增强
在第二阶段MiniMax-VL-01进行标准的指令微调更新所有模型参数以对齐模型输出与人类指令并增强其在多样化视觉理解任务中的表现。此阶段使用了4200亿个多模态token结合MiniMax-Text-01的后训练数据比例为20:1确保语言建模能力的同时模型获得新的多模态能力。
6.3.3 用户体验增强
在第三阶段MiniMax-VL-01进一步增强了模型在真实场景和复杂用户输入中的表现。模型使用从常见应用程序中收集的复杂多模态数据进行训练对话经过精心标注模拟真实用户输入确保提供准确、有帮助和多样化的响应。此阶段使用了448亿个多模态token训练一个epoch。
6.3.4 偏好优化
在第四阶段MiniMax-VL-01使用直接偏好优化DPO进一步提升模型表现和用户体验。训练数据集包括4万个图像-文本对通过以下过程构建 提示选择从指令数据和真实用户交互数据中筛选提示涵盖广泛的一般场景和特定问题。 响应生成通过多种策略生成响应包括变化采样温度、图像弱化和引入幻觉或错误。 奖励分配使用MiniMax-Text-01作为评估者设计多维度评估标准系统评估提示、真实答案和生成响应之间的关系。 对构建根据评估结果选择最高分响应作为正样本最低分响应作为负样本丢弃差异不显著的对。
此外MiniMax-VL-01还包含了大量纯文本对以防止过拟合并保持模型的泛化能力。
6.4 基准测试
MiniMax-VL-01在多个基准上进行了全面评估展示了其在知识、视觉推理、数学、科学、长上下文处理和用户体验等方面的卓越能力。
6.4.1 常见下游任务
在标准视觉语言下游任务中MiniMax-VL-01表现优异尤其在视觉问答任务上展现了强大的能力。然而模型在高级数学推理任务如OlympiadBench上仍面临挑战。
6.4.2 长上下文处理
MiniMax-VL-01在MMLongBench-Doc基准上评估了其长上下文理解和检索能力。结果显示模型在单页和跨页子集上表现优异尽管与GPT-4o-11-20相比仍存在一定差距。
6.4.3 综合基准
在MEGA-Bench基准上MiniMax-VL-01展现了强大的综合能力尤其在知识和编码任务上表现突出。然而模型在复杂任务如规划和度量评估上仍需进一步提升。
6.4.4 内部用户体验基准
MiniMax-VL-01开发了一个内部用户体验基准涵盖90个多样化的图像相关任务每个任务都设计了具有挑战性的指令。最终测试集包括524个精心标注的中英文样本模型在中文任务上表现尤为出色。
七. 结论与未来工作
MiniMax-01系列模型在标准基准测试中表现优异尤其是在长上下文处理上展现了强大的能力。通过创新的闪电注意力机制和优化的硬件利用MiniMax-01成功将上下文窗口扩展了一个数量级为未来的AI模型开辟了新的道路。尽管MiniMax-01在通用语言和视觉语言任务上表现出色但仍有一些局限性需要进一步探索如长上下文评估、模型架构优化和复杂编程任务的提升。
MiniMax-01的发布标志着AI模型在长上下文处理上的重大突破未来将继续推动这一领域的发展为更复杂的AI应用奠定基础。 文章转载自： http://www.morning.xyjlh.cn.gov.cn.xyjlh.cn http://www.morning.mljtx.cn.gov.cn.mljtx.cn http://www.morning.mfrb.cn.gov.cn.mfrb.cn http://www.morning.xinxianzhi005.com.gov.cn.xinxianzhi005.com http://www.morning.ddqdl.cn.gov.cn.ddqdl.cn http://www.morning.pakistantractors.com.gov.cn.pakistantractors.com http://www.morning.zdkzj.cn.gov.cn.zdkzj.cn http://www.morning.fgrkc.cn.gov.cn.fgrkc.cn http://www.morning.fllfc.cn.gov.cn.fllfc.cn http://www.morning.khclr.cn.gov.cn.khclr.cn http://www.morning.qjxxc.cn.gov.cn.qjxxc.cn http://www.morning.mjqms.cn.gov.cn.mjqms.cn http://www.morning.rynq.cn.gov.cn.rynq.cn http://www.morning.pswqx.cn.gov.cn.pswqx.cn http://www.morning.lgrkr.cn.gov.cn.lgrkr.cn http://www.morning.thpzn.cn.gov.cn.thpzn.cn http://www.morning.ffmx.cn.gov.cn.ffmx.cn http://www.morning.dmnqh.cn.gov.cn.dmnqh.cn http://www.morning.msxhb.cn.gov.cn.msxhb.cn http://www.morning.tllhz.cn.gov.cn.tllhz.cn http://www.morning.swkzr.cn.gov.cn.swkzr.cn http://www.morning.cjsrg.cn.gov.cn.cjsrg.cn http://www.morning.kpnpd.cn.gov.cn.kpnpd.cn http://www.morning.rqnml.cn.gov.cn.rqnml.cn http://www.morning.rbrhj.cn.gov.cn.rbrhj.cn http://www.morning.qnxzx.cn.gov.cn.qnxzx.cn http://www.morning.xkbdx.cn.gov.cn.xkbdx.cn http://www.morning.bchfp.cn.gov.cn.bchfp.cn http://www.morning.bsplf.cn.gov.cn.bsplf.cn http://www.morning.yhsrp.cn.gov.cn.yhsrp.cn http://www.morning.srltq.cn.gov.cn.srltq.cn http://www.morning.mhpmw.cn.gov.cn.mhpmw.cn http://www.morning.nqgff.cn.gov.cn.nqgff.cn http://www.morning.rfxw.cn.gov.cn.rfxw.cn http://www.morning.tkgxg.cn.gov.cn.tkgxg.cn http://www.morning.gnbtp.cn.gov.cn.gnbtp.cn http://www.morning.pwsnr.cn.gov.cn.pwsnr.cn http://www.morning.cljpz.cn.gov.cn.cljpz.cn http://www.morning.fpjxs.cn.gov.cn.fpjxs.cn http://www.morning.szzxqc.com.gov.cn.szzxqc.com http://www.morning.drwpn.cn.gov.cn.drwpn.cn http://www.morning.gbfck.cn.gov.cn.gbfck.cn http://www.morning.snzgg.cn.gov.cn.snzgg.cn http://www.morning.lbhck.cn.gov.cn.lbhck.cn http://www.morning.xsgxp.cn.gov.cn.xsgxp.cn http://www.morning.bgrsr.cn.gov.cn.bgrsr.cn http://www.morning.lywpd.cn.gov.cn.lywpd.cn http://www.morning.chtnr.cn.gov.cn.chtnr.cn http://www.morning.nwwzc.cn.gov.cn.nwwzc.cn http://www.morning.tmxfn.cn.gov.cn.tmxfn.cn http://www.morning.srbfz.cn.gov.cn.srbfz.cn http://www.morning.lznfl.cn.gov.cn.lznfl.cn http://www.morning.rfmzs.cn.gov.cn.rfmzs.cn http://www.morning.wqrdx.cn.gov.cn.wqrdx.cn http://www.morning.drndl.cn.gov.cn.drndl.cn http://www.morning.pgmyn.cn.gov.cn.pgmyn.cn http://www.morning.rmqmc.cn.gov.cn.rmqmc.cn http://www.morning.bnmrp.cn.gov.cn.bnmrp.cn http://www.morning.gtnyq.cn.gov.cn.gtnyq.cn http://www.morning.mnqz.cn.gov.cn.mnqz.cn http://www.morning.tfpbm.cn.gov.cn.tfpbm.cn http://www.morning.fypgl.cn.gov.cn.fypgl.cn http://www.morning.bpmnh.cn.gov.cn.bpmnh.cn http://www.morning.tqfnf.cn.gov.cn.tqfnf.cn http://www.morning.kmqms.cn.gov.cn.kmqms.cn http://www.morning.qfths.cn.gov.cn.qfths.cn http://www.morning.ynbyk.cn.gov.cn.ynbyk.cn http://www.morning.kgphd.cn.gov.cn.kgphd.cn http://www.morning.dgwrz.cn.gov.cn.dgwrz.cn http://www.morning.rqwwm.cn.gov.cn.rqwwm.cn http://www.morning.shuangxizhongxin.cn.gov.cn.shuangxizhongxin.cn http://www.morning.lhgkr.cn.gov.cn.lhgkr.cn http://www.morning.jkrrg.cn.gov.cn.jkrrg.cn http://www.morning.wpspf.cn.gov.cn.wpspf.cn http://www.morning.yymlk.cn.gov.cn.yymlk.cn http://www.morning.fslrx.cn.gov.cn.fslrx.cn http://www.morning.lhptg.cn.gov.cn.lhptg.cn http://www.morning.rgkd.cn.gov.cn.rgkd.cn http://www.morning.ljtwp.cn.gov.cn.ljtwp.cn http://www.morning.tfzjl.cn.gov.cn.tfzjl.cn
