网站套餐可以分摊吗吗,wordpress 3.0.1,全自动建站系统源码,旅游社网站建设规划书摘要:
知识图推理的目的是从已有的事实中推断出新的事实。基于关系路径的推理方法具有较强的可解释性和可转移性。然而#xff0c;路径在捕获图中的局部证据方面自然受到限制。在本文中#xff0c;我们引入了一种新的关系结构#xff0c;即关系有向图(r-digraph)#xff0…摘要:
知识图推理的目的是从已有的事实中推断出新的事实。基于关系路径的推理方法具有较强的可解释性和可转移性。然而路径在捕获图中的局部证据方面自然受到限制。在本文中我们引入了一种新的关系结构即关系有向图(r-digraph)它由重叠的关系路径组成用于捕获KG的局部证据。由于图比路径更复杂如何有效地构建和有效地从中学习是一个挑战。直接编码r-有向图不能很好地扩展并且在r-有向图中很难捕获与查询相关的信息。我们提出了一种图神经网络的变体即RED-GNN以解决上述挑战。具体来说RED-GNN利用动态规划对具有共享边的多个r-有向图进行递归编码并利用查询依赖的注意机制选择强相关边。我们证明RED-GNN不仅高效而且在归纳和转换推理任务中比现有方法都能取得显着的性能提升。此外RED-GNN中学习到的注意权值可以为KG推理提供可解释的证据。
1.介绍
知识图谱(Knowledge graph, KG)包含了现实世界中物体、人、概念等之间的相互作用它将人工智能与人类知识联系起来[2,16,18]。相互作用用三种形式(主体实体、关系、客体实体)表示为事实以表示实体之间的关系。现实世界的kg很大而且非常不完整[18,44]因此推断新的事实是具有挑战性的。KG推理模拟了这样的过程从已有的事实中演绎出新的事实[7]。它在语义搜索[4]、推荐[6]、问答[1]等领域有着广泛的应用。在本文中我们重点学习了在(主题实体、关系、?)形式的查询中进行推理的关系结构。
在过去的十年中基于三重模型的语义信息学习受到了广泛的关注。这些模型直接对带有实体和关系嵌入的三元组进行推理如TransE[5]、ConvE[10]、ComplEx[40]、RotatE[36]、QuatE[51]、AutoSF[54]等。由于三元组是独立学习的它们不能显式地捕获局部证据[26,38,46,48]即查询三元组周围的局部结构这些结构可以用作KG推理[26]的证据。
路径学习可以帮助更好地捕获图中的局部证据因为它们可以保持节点之间的顺序连接[13,28]。关系路径是为推理[23]捕获语义和局部证据的第一次尝试。DeepPath [46] MINERVA[9]和M-walk[35]使用强化学习(RL)对与查询有强相关性的关系路径进行采样。由于KGs的稀疏特性RL方法很难在大规模KGs上进行训练[7]。PathCon[43]对实体之间的所有关系路径进行采样并使用注意机制对不同路径进行加权但对于实体查询任务来说代价昂贵。基于规则的方法如RuleN[25]、Neural LP[48]、DRUM[33]和RNNLogic[29]将关系路径概括为逻辑规则通过关系的逻辑组合来学习推断关系并能提供可解释的见解。此外逻辑规则可以处理推理中存在不可见实体的归纳推理这在现实应用中很常见[33,48,50]。
在捕获局部证据方面子图自然比路径提供更多的信息[2,11,45]。它们的有效性已经在基于图的推荐[50,56]和节点表示学习[14]中得到了经验验证。随着图神经网络(graph neural network, GNN)[12,20]在图结构数据建模方面的成功GNN被引入到KG中的子图结构捕获中。R-GCN[34]、CompGCN[41]和KE-GCN[49]提出通过聚合每层的所有邻居来更新实体的表示。然而它们不能区分不同邻居的结构作用也不能解释。DPMPN[47]通过修剪给定查询的不相关实体而不是学习特定的局部结构来学习减少大规模KGs推理的子图的大小。p-GAT[15]联合学习图注意网络和马尔可夫逻辑网络以弥合嵌入和规则之间的差距。然而必须预先定义一组规则并且应该使用昂贵的em算法进行优化。最近GraIL[38]提出了从局部封闭子图预测关系的方法并展示了子图的归纳能力。然而由于封闭子图的限制它的有效性和效率都存在问题。
受基于路径的方法的可解释和可转移能力以及子图的结构保持特性的启发我们在KG中引入了一种新的关系结构称为r-有向图以结合两者的优点。有向图通过保留重叠的关系路径和推理的关系结构将关系路径推广到子图。与结构简单的关系路径不同如何高效地构建r-有向图并从中学习是一个挑战因为构建过程是昂贵的[38,43]。受动态规划节省重叠子问题计算成本的启发我们提出了GNN[12]的变体RED-GNN该算法递归编码具有共享边的多个关系有向图(r- digraps)并通过查询依赖的关注权选择强相关边。从经验上看RED-GNN在归纳和传导基准测试中都比最先进的推理方法有了显著的进步。此外训练和推理过程效率高模型参数数量少学习到的结构具有可解释性。
2.相关工作 2.1 Path-based methods
关系路径(定义1)是一组按顺序连接的三元组。基于路径的方法学习通过一组关系路径作为本地证据来预测三元组()。DeepPath[46]通过强化学习(RL)学习生成从到的关系路径。为了提高效率MINERVA[9]和M-walk[35]通过RL学习生成从开始的多条路径。得分由不同的到达频率表示。由于KG结构复杂奖励非常稀疏很难训练RL模型[7]。PathCon[43]对连接两个实体的所有路径进行采样以预测它们之间的关系这对于推理任务来说是昂贵的()。
定义1(关系路径[24,46,53])。长度为的关系路径是一组三元组(011)(122)…(−1,,),按顺序连接头部到尾部。
与直接使用路径不同基于规则的方法将逻辑规则作为关系路径的一般形式来学习。逻辑规则是由一组关系组合而成的用来推断一个特定的关系。这可以提供更好的解释并可以转移到看不见的实体。通过挖掘方法(如RuleN[25])、EM算法(如RNNLogic[29])或端到端训练(如Neural LP[48]和DRUM[33])来学习规则以生成和之间高度相关的关系路径。规则可以提供逻辑解释并转移到不可见的实体。然而这些规则只捕获序列证据因此无法学习更复杂的模式如子图结构。
2.2 GNN-based methods
如第1节所述子图可以保留比关系路径更丰富的信息因为子图中允许更多的度。GNN在图形结构化数据[2]建模方面显示出强大的能力。这启发了最近的工作如RGCN [34] CompGCN[41]和KE-GCN[49]将GNN扩展到KG上将消息传递框架[12]下的实体和关系表示聚合为: 其中聚合(··)维度为的实体的1跳相邻边()∈F上的消息。ℓ∈R×是一个加权矩阵,激活函数和ℓ关系表示在ℓ层。在层聚合之后表示方式捕获实体∈V的局部结构与解码器评分函数共同工作来测量三元组。由于消息传递函数(1)聚集了所有邻居的信息并且与查询无关因此R-GCN和CompGCN无法捕获特定查询的显式本地证据并且不可解释。
DPMPN[47]没有使用所有的邻域而是设计了一个GNN来聚合实体的嵌入另一个GNN来动态地扩展和修剪查询实体的推理子图。在采样实体上应用查询相关的注意以进行修剪。该方法通过注意流在被修剪的子图上显示了可解释的推理过程但仍然需要嵌入来指导修剪因此不能推广到看不见的实体。此外它不能捕获支持给定查询三元组的显式本地证据。
p-GAT[15]和pLogicNet[30]通过变分em算法共同学习基于嵌入的模型和马尔可夫逻辑网络(MLN)。嵌入模型生成证据供MLN进行更新MLN扩展训练数据供嵌入模型进行训练。MLN带来了嵌入模型和逻辑规则之间的差距但它需要一组预定义的规则进行初始化并且使用变分em算法的训练成本很高。
最近GraIL[38]提出提取查询实体和应答实体之间的封闭子图G()。为了学习封闭子图在G()中的边上应用具有查询依赖注意力的关系GNN[34]以控制不同查询边的重要性但学习到的注意力权重是不可解释的(见附录B)。在层聚合之后图级表示聚合子图中的所有实体∈V并用于对三重()进行评分。由于需要显式地提取子图并为不同的三元组评分因此计算成本非常高。
3.关系有向图(r-digraph)
关系路径在KGs上显示出很强的可转移和可解释推理能力[9,33,48]。然而它们在捕获KG中更复杂的依赖关系方面受到限制因为路径中的节点只能按顺序连接。基于gnn的方法可以学习不同的子图结构。但是现有的方法都不能有效地学习到规则一样既可解释又可归纳的子图结构。因此我们有动力去定义一种新的结构去探索重要的局部证据。
在定义有向图之前我们首先在定义2中介绍一种特殊类型的有向图。
定义2(layered st-GRAPH[3])。The layered st-graph是一个只有一个源节点(s)和一个汇聚节点(t)的有向图所有的边都是有向的连接连续层之间的节点从-th层指向 1-th层。
在这里我们采用一般方法用逆关系和恒等关系扩充三元组[33,41]。那么所有在和之间长度小于或等于的关系路径都可以表示为长度为的关系路径。这样它们可以在分层的st图中形成路径单个源实体和接收实体。这种结构保留了和之间的所有关系路径长度为并维护了子图结构。基于这个观察我们在定义3中定义了r-有向图。
定义3 (r-digraph)。有向图是具有源实体和接收实体的分层st图。同一层中的实体彼此不同。在r-有向图中任何从到的路径都是一条长度为的关系路径其中将一个在−1层的实体连接到一个在层的实体。如果不存在连接和且长度为的关系路径则定义。
图1(b)提供了一个r-有向图的示例用于在图1(a)的示例KG中推断新的三重。受关系路径推理能力的启发[9,33,48]我们的目标是利用r-有向图进行KG推理。然而与序列模型学习结构简单的关系路径不同[9,46]如何高效地构建和有效地从r-有向图中学习是一个挑战。 图1:图形化说明。在(c)中由灰色椭圆组成的子图为GSam, Spider-2 bbbb3由黄色矩形组成的子图为GSam,U.S. bbbb3。虚线边表示对应颜色的反向关系(以彩色观看效果最好)。 4 .提出的模型
在这里我们展示了如何定制gnn来高效和有效地从r-有向图中学习。提取子图结构然后学习子图表示是文献中子图编码的常见做法例如GraphSage[14]和GraIL[38]。给定一个查询三元组()子图编码通常包含三个过程:
分别提取和的邻域;取交点构造子图;运行消息传递并使用图级表示作为子图编码。
在处理r-有向图时可以在算法1中自定义相同的方法。首先我们在步骤2-5中得到的邻域。其次我们在步骤6-8中取的邻域的交集以诱导r-有向图层。第三如果r-有向图为空我们在步骤9中将表示设置为0。否则在步骤10-12中逐层进行消息传递。由于是single sink实体因此使用最后一层表示方式作为子图表示来编码r-有向图。我们将这个简单的解决方案命名为RED-Simp。 然而算法1是非常昂贵的。首先我们需要进行步骤3和步骤4的两个方向采样取交点提取r-有向图。其次给定一个查询(?)我们需要对|V|不同的三元组和不同的应答实体∈V执行此算法。它需要时间(见4.3节)来预测给定查询(,,?),其中¯是V中实体的平均度数是边的平均个数在。这些限制也存在于PathCon[43]和GraIL[38]。为了提高效率我们建议对多个数据进行编码在4.1节中递归地使用r-有向图。
4.1 Recursive r-digraph encoding 命题1指出具有不同答案实体的第层边在中共享同一边集。一种节省重叠子问题计算量的常用方法是动态规划。这已被用于在大规模图[14]上聚合节点表示或在KGs[52]上传播问题表示。受动态规划效率的启发我们递归地构造了和任意实体之间的向图 一旦表示的所有实体在ℓ−1-th层都准备好了,我们可以编码结合与共享边缘在ℓ-th层。基于命题1和Eq.(2)我们被激励对多个r-有向图进行递归编码这些r-有向图在中具有共享边。整个过程在算法2中。 最初在中只有可见。在第1层中我们在第3步中收集边缘和实体。然后对传递的消息进行约束通过中的边得到的表示。最后,表示,。递归编码在中的共享边更有效循环更少。它学习与算法1相同的表示这是由命题2保证的。
命题2。给定相同的三元组()算法1和算法2编码的结构是相同的。
4.2 Interpretable reasoning with r-digraph
由于的构造与查询关系是独立的因此如何对进行编码是另一个需要解决的问题。给定共享相同r-有向图的不同三元组例如和我们用于推理的局部证据是不同的。为了从r-有向图中获取查询相关知识并发现可解释的局部证据我们使用注意机制[42]并将编码为注意权值以控制中不同边的重要性。消息传递函数指定为
为了保证在同一邻域内可以选择多条边采用了s型函数而不是softmax关注[42] 。
通过(3)对层进行聚合后表示可以编码得分的基本信息()。因此我们设计了一个简单的评分函数 (6)中的第一部分是(训练查询集)中正三元组()的分数第二部分包含具有相同查询的所有三元组(?)的分数。模型参数 随机初始化并通过随机梯度下降[19]最小化(6)进行优化。
我们提供定理1来证明如果一组关系路径与查询三元组强相关则它们可以通过RED-GNN中的注意权值来识别因此是可解释的。这个定理在第5.4节中也有实证说明。 4.3 Inference complexity
在这一部分中我们比较了不同基于gnn的方法的推理复杂度。在对查询(?)进行推理时我们需要用不同的答案实体对三元组求值我们假设平均度为r-有向图每层的平均边数为。 5.EXPERIMENTS
所有实验都是用PyTorch框架[27]用Python编写的并在具有11GB内存的RTX 2080Ti GPU上运行。
5.1 Inductive reasoning
归纳推理是一个热门的研究课题[14,33,38,48]因为在现实世界的应用中不断出现新的实体如新用户、新项目和新概念[50]。为了能够对看不见的实体进行推理需要模型捕捉语义和局部证据而忽略实体的身份。
Setup Tie policy
在评价中Tie policy很重要。具体来说当有相同秩的三元组时在平局中选择最大秩和最小秩将导致相当不同的结果[37]。考虑到我们对的三元组给予相同的分数会有Tie policy政策的顾虑。因此我们使用tie中三元组的平均排名如建议的[31]
数据集
我们使用[38]中的基准数据集分别在WN18RR[10]、FB15k237[39]和NELL-995[46]上创建。每个数据集包括四个版本其中包含不同组的三元组。详情请参阅[38]。
结果
性能如表1所示。首先GraIL是所有方法中最差的因为封闭子图不能很好地学习可以推广到看不见的实体的关系结构(详见附录B)。其次在基于规则的方法中没有绝对的赢家因为不同的规则适应不同的数据集。相比之下RED-GNN在所有基准测试中都优于基线。在定理1的基础上注意权值有助于自适应地学习不同数据集的相关关系路径同时保留结构模式。在某些情况下RED-GNN的Hit10比基于规则的方法略差因为它可能会对排名靠前的样本过拟合。 5.2 Transductive reasoning
传导推理也称为KG补全[40,44]是文献中的另一种一般设置。它评估了模型在不完整KG上学习模式的能力。
设置。在此设置中给出了和查询三元组并通过反向关系进行增广。对于基于三元组的方法中的三元组用于训练用于推理。对于其他的使用F中3/4的三元组提取路径/子图来预测训练中剩下的1/4三元组然后使用完整的集合F来预测推理中的[33,48]。我们在第5.1节中使用相同的过滤排名指标和相同的关联策略即MRR, Hit1和Hit10。
基线。我们将RED-GNN与基于三重的ConvE[10]、RotatE[36]和QuatE[51]方法进行了比较;基于路径的方法MINERVA[9]、Neural LP[48]、DRUM[33]和RNNLogic[29];基于mln的方法pLogicNet[30]和基于gnn的方法CompGCN[41]和DPMPN[47]。这里没有比较RuleN[25]因为在这个设置中它比DRUM[33]和RNNLogic[29]更差。p-GAT不进行比较因为它们的结果是在有问题的框架[37]上评估的。没有比较GraIL[38]因为它在大型图上计算难以处理(参见第5.3节)。
Hyper-parameters。RED-GNN超参数的调谐范围与归纳推理中的调谐范围相同。对于RotatE和QuatE我们调整维度为{100,200,500,1000}批大小为{256,512,1024,2048}权重衰减为[10−5,10−2]负样本数为{64,128,256,512,1024}训练迭代为100000。对于MINERVA, Neural LP, DRUM和DPMPN我们使用它们提供的默认设置。对于CompGCN我们选择解码器为ConvE算子为建议的循环相关[41]并调整学习率为[10−4,10−2]层为{1,2,3}辍学率为[0,0.3]训练epoch为300。
数据集。使用了Family[21]、UMLS[21]、WN18RR[10]、FB15k237[39]和NELL-995[46] 5个2数据集。我们在表3中提供了实体、关系和三元组分割的统计信息。 结果。如表2所示基于三元组的方法在Family和UMLS上优于基于路径的方法在WN18RR、FB15k-237上与DRUM和RNNLogic相当。实体嵌入可以隐式地保留实体周围的局部信息而基于路径的方法可能会丢失结构模式。CompGCN的性能与基于三元组的方法类似主要依赖于聚合嵌入和解码器评分函数。Neural LP, DRUM和CompGCN在NELL-995上使用74个实体由于使用完全邻接矩阵而耗尽内存。对于DPMPN剪枝子图中的实体信息量比CompGCN更大因此具有更好的性能。对于RED-GNN它优于MRR指标所指示的所有基线。这表明r-有向图不仅可以很好地转移到看不见的实体而且可以在不使用实体嵌入的情况下捕获不完整kg中的重要模式。 5.3 Complexity analysis
在这一部分中我们从运行时间和参数大小两个方面比较了不同方法的复杂度。我们在图2(a)中显示了每种方法的训练时间和Ttst上的推理时间在图2(b)中显示了学习曲线在图2(c)中显示了模型参数。
归纳推理。我们比较了RuleN、Neural LP、DRUM、GraIL和RED-GNN对WN18RR (V1)、FB15k-237 (V1)和NELL-995 (V1)的影响。在RuleN中训练和推理都非常高效。Neural LP和DRUM的开销相似但使用全邻接矩阵比RED-GNN的开销更大。对于GraIL训练和推理都是非常昂贵的因为它们需要双向采样来提取子图然后为每个三元组进行计算。在模型参数方面RED-GNN和GraIL的参数数量相近均少于Neural-LP和DRUM。总的来说RED-GNN比Neural LP、DRUM和GraIL的可微方法更有效。
转换推理。我们比较了RotatE、MINERVA、CompGCN、DPMPN和RED-GNN对Family、WN18RR和NELL-995的影响。由于简单的三元组训练框架旋转是最快的方法。MINERVA比基于gnn的方法更有效因为采样路径可以有效地按顺序建模。CompGCN的层数更少与RED-GNN的成本相似因为它的计算是在整个图上进行的。对于DPMPN剪枝是昂贵的并且它有两个gnn一起工作因此它比RED-GNN更昂贵。GraIL比RED-GNN贵上几百倍因此在这种情况下在更大的千克数上是难以处理的。由于RED-GNN不学习实体嵌入因此与其他四种方法相比它的参数要少得多。 5.4 Case study: learned r-digraphs
我们在Family和UMLS数据集上使用3的RED-GNN可视化了一些范例学习的r-有向图。给定三元组()我们删除G|中关注权值小于0.5的边并提取其余部分。图3(a)显示了DRUM失败的一个三重情况。如图所示将id-1482推断为id-1480的儿子需要知道id-1480是本地结构中叔叔id-1432的唯一兄弟。图3(b)显示了具有相同的和的示例它们共享相同的有向图G|。如图所示RED-GNN可以为不同的查询关系学习不同的结构这符合定理1。图3中的示例表明RED-GNN是可解释的。我们在附录A中提供了更多的示例和可视化算法。 图3:学习结构的可视化。虚线表示反比关系。查询三元组由红色矩形表示。由于空间限制UMLS数据集中的实体显示为黑色圆圈(最好以彩色显示)。
5.5 Ablation study
RED-GNN的变体。表4显示了不同变体的性能。首先我们研究了移除对注意力的影响(记为Attn-w.o.-)。具体来说,我们删除从关注权重in (4)和改变评分函数。由于关注的目的是找出中的重要边因此在没有查询关系控制的情况下学习到的结构信息量不足性能较差。 其次我们将RED-GNN中的算法2替换为算法1中的简单解即RED-Simp。由于效率问题不能使用损失函数(6)因为它需要计算许多负三元组的分数。因此我们使用一个负样本的保证金排名损失如在GraIL[38]中。如表4所示RED-Simp的性能弱于RED-GNN因为其多类对数损失优于负采样的损失函数[22,32,55]。RED-Simp在表1中仍然优于GraIL因为rdigraps是更好的推理结构。RED-Simp的运行时间如图2(a)和2(b)所示。算法1比算法2昂贵得多但比GraIL便宜因为GraIL需要Dijkstra算法来标记实体。
模型的深度。在图4中我们在左侧-axis显示了使用不同层或步骤测试MRR的影响。测试的覆盖率(%)三元组(,,),其中在可见从在步骤,也就是说,。直观地说当增加时将覆盖更多的三元组和之间的路径或子图将包含更丰富的信息但将更难学习。如图所示当≥4时DRUM、Neural LP和MINERVA的性能下降。当 3时CompGCN会耗尽内存并且使用3也很难捕获复杂的结构。当太小例如≤2时RED-GNN的性能较差主要是由于这种小的r-有向图中编码的信息有限。REDGNN在≥3时达到最佳性能此时r-有向图可以包含更丰富的信息并且可以通过(3)有效地学习到用于推理的重要信息。由于计算成本随着的增加而显著增加因此我们对∈{3,4,5}进行了调整以在实践中平衡效率和有效性。 Per-distance性能。注意给定一个具有层的r-有向图两个节点之间不能通过跳到达的信息不能通过算法2传播。这可能会引起人们对RED-GNN预测能力的担忧特别是对于步骤中无法到达的三元组。我们在这里证明这不是一个问题。具体来说给定一个三元组()我们计算从到的最短距离。然后对不同距离的MRR性能进行分组。我们比较了表5中的CompGCN( 2)、DPMPN(5)和RED-GNN(5)。所有模型在距离较大的三元组上的性能都较差不能很好地模拟距离较远的三元组。RED-GNN在距离5以内具有最佳的单距离性能。 6.结论
在本文中我们引入了一种新的关系结构即r-有向图作为KG推理的关系路径的广义结构。单独计算每个r-有向图对于推理任务来说是昂贵的(?)。因此受动态规划解决重叠子问题的启发我们提出了RED-GNN作为GNN的变体以有效地构造和学习r-有向图。我们表明RED-GNN在具有感应和换能式KG推理基准的KG中都达到了最先进的性能。与其他基于gnn的基线相比RED-GNN的训练和推理效率很高。此外RED-GNN还可以学习推理的可解释结构
最后提出了一种类似于RED-GNN的并行工作NBFNet[57]对查询实体到多个应答实体之间的所有路径进行递归编码。然而 NBFNet使用完全邻接矩阵进行传播这是非常昂贵的需要128GB的GPU内存。在未来的工作中我们可以利用[47]中的修剪技术或[8]中的分布式编程技术将RED-GNN应用于非常大规模的KG。 文章转载自： http://www.morning.kjfsd.cn.gov.cn.kjfsd.cn http://www.morning.bqfpm.cn.gov.cn.bqfpm.cn http://www.morning.rwlsr.cn.gov.cn.rwlsr.cn http://www.morning.kltsn.cn.gov.cn.kltsn.cn http://www.morning.qlsyf.cn.gov.cn.qlsyf.cn http://www.morning.ranglue.com.gov.cn.ranglue.com http://www.morning.rjhts.cn.gov.cn.rjhts.cn http://www.morning.zrlwl.cn.gov.cn.zrlwl.cn http://www.morning.hlxpz.cn.gov.cn.hlxpz.cn http://www.morning.gbhsz.cn.gov.cn.gbhsz.cn http://www.morning.51meihou.cn.gov.cn.51meihou.cn http://www.morning.jjrsk.cn.gov.cn.jjrsk.cn http://www.morning.gqhgl.cn.gov.cn.gqhgl.cn http://www.morning.nqrfd.cn.gov.cn.nqrfd.cn http://www.morning.wdhhz.cn.gov.cn.wdhhz.cn http://www.morning.qfdmh.cn.gov.cn.qfdmh.cn http://www.morning.taojava.cn.gov.cn.taojava.cn http://www.morning.tbbxn.cn.gov.cn.tbbxn.cn http://www.morning.pngdc.cn.gov.cn.pngdc.cn http://www.morning.ntwfr.cn.gov.cn.ntwfr.cn http://www.morning.rbhqz.cn.gov.cn.rbhqz.cn http://www.morning.rhwty.cn.gov.cn.rhwty.cn http://www.morning.qnbck.cn.gov.cn.qnbck.cn http://www.morning.bdwqy.cn.gov.cn.bdwqy.cn http://www.morning.zqfz.cn.gov.cn.zqfz.cn http://www.morning.pyxtn.cn.gov.cn.pyxtn.cn http://www.morning.wcrcy.cn.gov.cn.wcrcy.cn http://www.morning.clkyw.cn.gov.cn.clkyw.cn http://www.morning.mtymb.cn.gov.cn.mtymb.cn http://www.morning.qmkyp.cn.gov.cn.qmkyp.cn http://www.morning.mkrqh.cn.gov.cn.mkrqh.cn http://www.morning.lkrmp.cn.gov.cn.lkrmp.cn http://www.morning.iterlog.com.gov.cn.iterlog.com http://www.morning.fxpyt.cn.gov.cn.fxpyt.cn http://www.morning.irqlul.cn.gov.cn.irqlul.cn http://www.morning.njhyk.cn.gov.cn.njhyk.cn http://www.morning.mrbmc.cn.gov.cn.mrbmc.cn http://www.morning.kxsnp.cn.gov.cn.kxsnp.cn http://www.morning.pgggs.cn.gov.cn.pgggs.cn http://www.morning.fesiy.com.gov.cn.fesiy.com http://www.morning.nggry.cn.gov.cn.nggry.cn http://www.morning.hlxpz.cn.gov.cn.hlxpz.cn http://www.morning.rbrd.cn.gov.cn.rbrd.cn http://www.morning.xqffq.cn.gov.cn.xqffq.cn http://www.morning.kzcfr.cn.gov.cn.kzcfr.cn http://www.morning.lhrwy.cn.gov.cn.lhrwy.cn http://www.morning.hxrfb.cn.gov.cn.hxrfb.cn http://www.morning.ssxlt.cn.gov.cn.ssxlt.cn http://www.morning.bsqth.cn.gov.cn.bsqth.cn http://www.morning.fbbpj.cn.gov.cn.fbbpj.cn http://www.morning.pbzgj.cn.gov.cn.pbzgj.cn http://www.morning.lydtr.cn.gov.cn.lydtr.cn http://www.morning.qzglh.cn.gov.cn.qzglh.cn http://www.morning.qlkzl.cn.gov.cn.qlkzl.cn http://www.morning.hjjkz.cn.gov.cn.hjjkz.cn http://www.morning.ynbyk.cn.gov.cn.ynbyk.cn http://www.morning.drzkk.cn.gov.cn.drzkk.cn http://www.morning.lqznq.cn.gov.cn.lqznq.cn http://www.morning.wjmb.cn.gov.cn.wjmb.cn http://www.morning.lgmgn.cn.gov.cn.lgmgn.cn http://www.morning.jxgyg.cn.gov.cn.jxgyg.cn http://www.morning.bfjyp.cn.gov.cn.bfjyp.cn http://www.morning.ndpzm.cn.gov.cn.ndpzm.cn http://www.morning.pngph.cn.gov.cn.pngph.cn http://www.morning.zwmjq.cn.gov.cn.zwmjq.cn http://www.morning.bsqbg.cn.gov.cn.bsqbg.cn http://www.morning.yrnyz.cn.gov.cn.yrnyz.cn http://www.morning.fkcjs.cn.gov.cn.fkcjs.cn http://www.morning.xsfg.cn.gov.cn.xsfg.cn http://www.morning.enjoinfo.cn.gov.cn.enjoinfo.cn http://www.morning.mqffm.cn.gov.cn.mqffm.cn http://www.morning.nqyzg.cn.gov.cn.nqyzg.cn http://www.morning.yrjhr.cn.gov.cn.yrjhr.cn http://www.morning.kggxj.cn.gov.cn.kggxj.cn http://www.morning.nkjpl.cn.gov.cn.nkjpl.cn http://www.morning.wjtxt.cn.gov.cn.wjtxt.cn http://www.morning.xmyrn.cn.gov.cn.xmyrn.cn http://www.morning.mrgby.cn.gov.cn.mrgby.cn http://www.morning.fhkr.cn.gov.cn.fhkr.cn http://www.morning.nlywq.cn.gov.cn.nlywq.cn
