国外html5模板网站,网站不被百度收录,做网站让人来注册,哪个网站做h5比较好看题目
最少到最多的提示使大型语言模型能够进行复杂的推理 论文地址#xff1a;https://arxiv.org/abs/2205.10625 摘要 思路链提示在各种自然语言推理任务中表现出色。然而#xff0c;它在需要解决比提示中显示的示例更难的问题的任务上表现不佳。为了克服这种由易到难的概括…题目
最少到最多的提示使大型语言模型能够进行复杂的推理 论文地址https://arxiv.org/abs/2205.10625 摘要 思路链提示在各种自然语言推理任务中表现出色。然而它在需要解决比提示中显示的示例更难的问题的任务上表现不佳。为了克服这种由易到难的概括的挑战我们提出了一种新颖的提示策略即从最少到最多提示。该策略的关键思想是将复杂问题分解为一系列更简单的子问题然后按顺序解决它们。先前解决的子问题的答案有助于解决每个子问题。我们在与符号操作、组合概括和数学推理相关的任务上的实验结果表明从最少到最多提示能够推广到比提示中看到的更难的问题。一个值得注意的发现是当使用 GPT-3 code-davinci-002 模型进行从最少到最多的提示时它可以在任何分割包括长度分割中解决组合泛化基准 SCAN准确率至少为 99%而使用思路链提示的准确率仅为 16%。这一点尤其值得注意因为文献中专门用于解决 SCAN 的神经符号模型是在包含超过 15,000 个示例的整个训练集上进行训练的。我们在附录中提供了所有任务的提示。
引言 尽管深度学习在过去十年中取得了巨大的成功但人类智能与机器学习之间仍然存在巨大差异
对于新任务人类通常可以从几个演示示例中学会完成它而机器学习需要大量标记数据进行模型训练人类可以清楚地解释他们预测或决策背后的原因而机器学习本质上是一个黑匣子人类可以解决比他们以前见过的任何问题都更困难的问题而对于机器学习来说训练和测试中的例子通常处于相同的难度级别。 最近提出的思路链提示方法Wei et al, 2022; Chowdhery et al, 2022在缩小人类智能和机器智能之间的差距方面迈出了重要一步。它将自然语言原理的思想Ling et al, 2017; Cobbe et al, 2021与小样本提示Brown et al, 2020相结合。当进一步与自洽解码 (Wang et al, 2022b) 相结合而不是使用典型的贪婪解码时少数样本的思路链提示在许多具有挑战性的自然语言处理任务上的表现大大优于文献中的最新成果这些任务是从专门设计的神经模型中获得的这些模型使用数百倍的注释示例进行训练同时具有完全可解释性。 然而思路链提示有一个关键的局限性——它在需要泛化解决比演示示例更难的问题的任务上表现不佳例如组合泛化 (Lake Baroni, 2018; Keysers et al, 2020)。为了解决这种由易到难的泛化问题我们提出了由少到多的提示。它包括两个阶段首先将一个复杂的问题分解为一系列较容易的子问题然后按顺序解决这些子问题其中通过先前解决的问题的答案来促进给定子问题的解决子问题。两个阶段都是通过少样本提示实现的因此两个阶段都没有训练或微调。图 1 显示了从最少到最多提示的示例用法。“从最少到最多提示”一词借用自教育心理学Libby 等人2008 年用于表示使用渐进式提示序列帮助学生学习新技能的技术。在这里我们将这种技术应用于教人类教授语言模型。符号操作、组合泛化和数学推理的实证结果表明从最少到最多提示确实可以推广到比演示的更难的问题。 图 1从最少到最多提示分两个阶段解决数学应用题1查询语言模型将问题分解为子问题2查询语言模型按顺序解决子问题。第二个子问题的答案建立在第一个子问题的答案之上。本例中省略了每个阶段提示的演示示例。
从最少到最多提示 从最少到最多提示通过将复杂问题分解为一系列更简单的子问题教语言模型如何解决复杂问题。它包含两个连续的阶段
分解。此阶段的提示包含演示分解的常量示例然后是需要分解的具体问题。子问题解决。此阶段的提示包含三部分
演示如何解决子问题的常量示例之前回答过的子问题和生成的解决方案的可能为空的列表以及接下来要回答的问题。 在图 1 所示的示例中首先要求语言模型将原始问题分解为子问题。传递给模型的提示包括说明如何分解复杂问题的示例图中未显示然后是要分解的具体问题如图所示。语言模型发现原始问题可以通过解决中间问题“每次旅行需要多长时间”来解决。在下一阶段我们要求语言模型按顺序解决问题分解阶段的子问题。原始问题被附加为最终子问题。解决从向语言模型传递一个由说明如何解决问题的示例组成的提示开始图中未显示然后是第一个子问题“每次旅行需要多长时间”。然后我们获取语言模型生成的答案“…每次旅行需要 5 分钟。”并通过将生成的答案附加到上一个提示来构建下一个提示然后是下一个子问题这恰好是本例中的原始问题。然后将新提示传回语言模型语言模型返回最终答案。 从最少到最多的提示可以与其他提示技术相结合如思路链Wei 等人2022 年和自洽Wang 等人2022b 年但不是必须的。此外对于某些任务从最少到最多提示的两个阶段可以合并形成单次提示。
结果 我们展示了符号操作、组合概括和数学推理任务的从最少到最多提示结果并将其与思路链提示进行了比较。
符号操作 我们采用最后一个字母连接任务Wei et al2022。在此任务中每个输入都是一个单词列表相应的输出是列表中单词最后一个字母的连接。 例如“thinking, machine”输出“ge”因为“thinking”的最后一个字母是“g”“machine”的最后一个字母是“e”。当测试列表的长度与提示范例中的列表长度相同时思路链提示可以完美完成工作。然而当测试列表比提示范例中的列表长得多时它的表现会很差。我们表明从最少到最多的提示克服了这一限制并且在长度概括方面明显优于思路链提示。
问“思考机器学习”
答“思考”“思考机器”“思考机器学习”表 1最后一个字母连接任务的从最少到最多的提示上下文分解。它可以将任意长的列表分解为连续的存在准确率为 100%。
问“think, machine”
答“think”的最后一个字母是“k”。“machine”的最后一个字母是“e”。将“k”和“e”连接起来得到“ke”。因此“think, machine”输出“ke”。
问“think, machine, learning”
答“think, machine”输出“ke”。“learning”的最后一个字母是“g”。将“ke”和“g”连接起来得到“keg”。因此“think, machine, learning”输出“keg”。表 2最后一个字母连接任务的从最少到最多的提示上下文解决方案。此提示中的两个示例实际上演示了一个基本情况和一个递归步骤。 从最少到最多的提示。最后一个字母连接任务的从最少到最多的提示上下文如表 1 和表 2 所示。表 1 中的示例演示了如何将列表分解为一系列子列表。表 2 中的示例演示了如何将输入映射到所需的输出。给定一个新列表我们首先将其附加到表 1 中的示例中以构建分解提示该提示被发送到语言模型以获得列表的分解。然后我们为每个子列表 S 构建一个解决方案提示它由表 2 中的示例组成后面是前一个子列表/响应对如果有然后是 S。我们按顺序将这些提示发送给语言模型并使用最后的响应作为最终解决方案。 值得仔细研究一下表 2 中的示例。本质上它们教语言模型如何使用以前解决的问题的答案来构建新问题的答案
第二个范例“思考机器学习”是第一个范例“思考机器”中列表的扩展而不是完全独立的列表对“思考机器学习”的响应建立在“思考机器”的输出之上以“思考机器”输出“ke”的句子开头。这两个范例一起说明了一个基本情况和一个递归步骤。 思路链提示。最后一个字母连接任务的思路链提示上下文列于表 3 中。它使用与表 2 中从最小到最大的提示相同的列表。唯一的区别是在思路链提示中对第二个列表“思考机器学习”的响应是从头开始构建的而不是使用第一个列表“思考机器”的输出。
Q“think, machine”
A“think”的最后一个字母是“k”。“machine”的最后一个字母是“e”。将“k”和“e”连接起来得到“ke”。因此“think, machine”输出“ke”。
Q“think, machine, learning”
A“think”的最后一个字母是“k”。“machine”的最后一个字母是“e”。“learning”的最后一个字母是“g”。将“k”、“e”、“g”连接起来得到“keg”。因此“think, machine, learning”输出“keg”。表 3最后一个字母连接任务的思路链提示上下文。与表 2 中的从最小到最大提示不同思路链提示中的示例彼此独立。 我们将从最小到最大提示表 1 和 2与思路链提示表 3和标准少量提示进行比较。标准少量提示的提示是通过删除思路链提示中的中间解释而构建的。也就是说它仅由这两个示例组成
“思考机器”输出“ke”“思考机器学习”输出“keg”。我们不考虑训练或微调基线因为基于两个示例的机器学习模型的泛化能力很差。 结果。我们在 Wiktionary1 中随机抽样单词以构建长度从 4 到 12 不等的测试列表。对于每个给定长度构建 500 个列表。表 4 显示了 GPT-3 中 code-davinci-002 的不同方法的准确率。标准提示完全无法通过所有测试用例准确率为 0。思路链提示显著提高了标准提示的性能但仍远远落后于从最少到最多提示尤其是在列表很长的情况下。此外随着长度的增加思路链提示的性能下降速度比从最少到最多提示快得多。 表 4不同提示方法在最后一个字母连接任务中的准确率。测试列表的长度从 4 个增加到 12 个。 在附录 7.2 和 7.3 中我们展示了使用不同思路链提示和不同语言模型进行的额外实验。请注意与从最少到最多提示相比思路链提示中的样本可以彼此独立。对于最后一个字母连接任务这意味着我们不需要呈现作为其他样本子列表的样本。事实上具有独立列表的思路链提示往往优于具有依赖列表的思路链提示因为前者传达了更多信息。此外我们可以通过合并其他样本来增强思路链提示。这似乎是公平的因为从最少到最多提示由于其额外的分解而包含更多单词。如表 13附录 7.3所示对于长度为 12 的列表思路链提示在有 4 个独立样本的情况下准确率为 37.4%附录 7.2.2在有 8 个独立样本的情况下准确率为 38.4%附录 7.2.3。与表 3 中原始提示的 31.8% 准确率相比思路链提示的准确率有了显着提高但仍然落后于从最少到最多提示后者的准确率为 74.0%。 错误分析。虽然从最少到最多提示的表现明显优于思路链提示但对于长列表它还远未达到 100% 的准确率。在附录 7.4 中我们提供了详细的错误分析。我们发现其中只有极少数是由于最后一个字母不正确造成的而大多数是连接错误删除或添加字母。例如给定列表“gratified, contract, fortitude, blew”模型会删除“dte”和“w”连接中的最后一个字母因此预测结果是“dte”而不是“dtew”。在另一个示例“hollow, supplies, function, gorgeous”中模型以某种方式复制了“wsn”和“s”连接中的最后一个字母“s”因此预测变为“wsnss”而不是“wsns”。
组合泛化 扫描 (Lake Baroni, 2018) 可能是评估组合泛化最流行的基准。它需要将自然语言命令映射到动作序列表 5。序列到序列模型在长度分割下表现不佳其中训练集中的动作序列约占全集的 80%超过 20,000 个示例比测试集中的动作序列短。已经提出了许多专门的神经符号模型来解决 SCANChen 等人2020 年Liu 等人2020 年Nye 等人2020 年Shaw 等人2021 年Kim2021 年。我们表明具有从最少到最多提示的大型语言模型仅使用几个演示示例就可以解决 SCAN。无需训练或微调。 表 5SCAN 中的示例命令及其对应的动作序列。代理通过执行其对应的动作序列成功执行自然语言命令。 从少到多提示。与第 3.1 节中的最后一个字母连接任务一样SCAN 的从少到多提示基于两种提示
命令分解提示包含 8 个示例用于演示如何将长命令分解为短命令列表请参阅表 6 了解其中一些示例命令映射提示包含 14 个示例用于演示如何将自然语言命令映射到动作序列请参阅表 7 了解其中一些示例。分解和映射的完整提示上下文列于附录 8 中。命令映射提示中使用的示例旨在完全涵盖 SCAN 命令的语义。
问“走路后向右看三次”
答“向右看三次”可以这样解决“向右看三次”“向右看三次”。 “走路”可以用“走路”来解决。所以“走路后向右看三次”可以这样解决“向右看三次”“向右看三次”“走路”。
问“向右看三次然后走路”
答“向右看三次”可以这样解决“向右看”“向右看”“向右看三次”。 “走路”可以用“走路”来解决。所以“向右看三次然后走路”可以这样解决“向右看”“向右看”“向右看三次”“走路”。表 6从最少到最多提示中获取的两个示例用于将长命令分解为一系列短命令。 我们使用 Python 符号使从最少到最多提示和基线代表少量提示和思路链提示中的提示简洁并满足语言模型的输入大小限制通常最多 2048 个标记。例如在我们的提示设计中我们将“看两次”映射到改为“LOOK” * 2而不是“LOOK LOOK”。我们可能不得不指出这些 Python 表达式只是中间表示。在获得语言模型的响应后我们运行后处理脚本来扩展 Python 表达式以生成最终结果。然而我们还可以进一步教语言模型正确处理表达式这并不奇怪。在附录 8.4 中我们展示了通过几个演示示例语言模型能够以近乎完美的 99.7% 的准确率扩展 Python 表达式。
Q“jump left”
A“jump left”的输出连接了“turn left”的输出“jump”的输出。“turn left”输出“TURN LEFT”。“jump”输出“JUMP”。因此将“turn left”的输出和“jump”的输出连接起来就是“TURN LEFT”“JUMP”。因此“jump left”的输出就是“TURN LEFT”“JUMP”。
Q“run and look twice”
A“run and look twice”的输出连接了“run”的输出“look twice”的输出。“run”输出“RUN”。“look twice”输出“LOOK”*2。因此将“run”的输出和“look twice”的输出连接起来就是“RUN”“LOOK”*2。因此“run and look twice”的输出就是“RUN”“LOOK”*2表 7从最少到最多/思路链提示中获取的两个示例用于将命令映射到动作序列。Python 表达式用作中间表示。 思路链提示。SCAN 的思路链提示使用与最少到最多提示相同的命令映射上下文参见表 7但它不使用命令分解命令分解专门用于最少到最多提示。 结果。我们将最少到最多提示与思路链提示和标准少样本提示进行了比较。标准少样本提示的示例是从思路链提示中删除中间解释而得出的。表 8 显示了具有不同语言模型的不同提示方法的准确率。示例输出可在附录 8.3 中找到。使用 code-davinci-002最少到最多提示在长度分割下实现了 99:7% 的准确率。我们还对所有其他分割甚至整个 SCAN 数据集进行了从最少到最多的提示测试。我们发现它的解决率保持不变。此外值得注意的是无论使用哪种提示方法code-davinci-002 的表现始终优于 text-davinci-002。 表 8不同提示方法在长度分割下 SCAN 测试集上的准确率%。text-davinci-002 的结果基于 100 条命令的随机子集。 错误分析。在长度分割的测试集中从最小到最大的提示总共有 13 次失败其中 6 次错误地将“around”后面的“twice”和“thrice”解释为错误其余的将“after”错误地解释为“and”。让我们为每个类别展示一个失败的示例。在“绕右跑三次后向右相反方向走两次”这个例子中code-davinci-002 正确地将表达式“绕右跑”翻译为“TURN RIGHT” “RUN”* 4。然后在将“thrice”应用于该表达式时出错生成了“TURN RIGHT” “RUN”* 9而不是“TURN RIGHT” “RUN”* 4 * 3 或“TURN RIGHT” “RUN”* 12。在“绕左跑两次后向左相反方向跑三次”这个例子中code-davinci-002 对由“after”连接的两个子表达式生成了正确的翻译但它将它们组合在一起就好像它们由“and”连接一样。这意味着模型产生的是“TURN LEFT” * 2 “RUN”* 3 “TURN LEFT” “RUN”* 4 * 2而不是“TURN LEFT” “RUN”* 4 * 2 “TURN LEFT” * 2 “RUN”* 3。详细的错误分析可参见附录 8.2。
数学推理 在本节中我们应用从最少到最多的提示来解决 GSM8KCobbe 等人2021 年和 DROPDua 等人2019 年中的数学应用题。我们特别感兴趣的是看看大型语言模型与从最少到最多的提示相结合是否可以解决比提示中看到的更困难的问题。在这里我们只是通过解决步骤的数量来衡量难度。
问艾莎有 5 个苹果。安娜比艾莎多 2 个苹果。她们加起来有多少个苹果
答让我们分解一下这个问题1. 安娜有多少个苹果2. 她们加起来有多少个苹果
1. 安娜比艾莎多 2 个苹果。所以安娜有 2 5 7 个苹果。
2. 艾莎和安娜加起来有 5 7 12 个苹果。
答案是12。表 9解决 GSM8K 的从少到多提示。演示问题仅用两个步骤解决但提示可以处理需要多个步骤解决的问题。
问Elsa 有 5 个苹果。Anna 比 Elsa 多 2 个苹果。她们加起来有多少个苹果答Anna 比 Elsa 多 2 个苹果。所以 Anna 有 2 5 7 个苹果。所以 Elsa 和 Anna 加起来有 5 7 12 个苹果。
答案是12。表 10解决 GSM8K 的思路链提示。它是从表 9 中的从少到多提示中删除分解部分而得出的。 我们设计的用于解决 GSM8K 的提示如表 9 所示。演示样本由两部分组成。第一部分从“让我们分解这个问题……”开始展示如何将原始问题分解为更简单的子问题第二部分展示如何按顺序解决子问题。请注意此提示将分解和子问题解决合并为一次。也可以设计两个不同的提示分别用于分解和子问题解决就像前面几节中的从最少到最多提示一样以进一步提高性能。在这里我们重点研究这个简单的从最少到最多提示如何从简单的 2 步问题推广到更复杂的多步骤问题。我们还构建了一个思路链提示表 10作为基线。它是通过删除从最少到最多提示表 9的分解部分而得出的。结果如表 11 所示。 总体而言从最少到最多提示仅略微改善了思路链提示从 60:97% 到 62:39%但是从最少到最多提示在解决至少需要 5 个步骤才能解决的问题时从最少到最多提示实质上改善了思路链提示从 39:07% 到 45:23%表 12。我们发现GSM8K 中几乎所有从最少到最多提示无法解决的问题最终都可以通过使用手动分解来解决。这并不奇怪。对于我们人类来说只要我们知道如何将复杂问题分解为更简单的子问题我们实际上就已经解决了它。对于 DROP 基准从最少到最多提示的表现远远优于思路链提示表 11。这可能是因为 DROP 中的大多数问题都可以轻松分解。 表 11GSM8K 和 DROP 上不同提示方法的准确率%仅包含数值问题的子集。基础语言模型是 code-davinci-002。 表 12从最少到最多提示和思路链提示的准确率%按预期解决方案所需的推理步骤数细分。
相关工作 组合泛化。SCANLake Baroni2018是一种广泛使用的评估组合泛化的基准。在其所有分割中最具挑战性的是长度分割这要求模型能够泛化到比训练序列更长的测试序列。在 SCAN 上表现良好的先前工作大多提出了神经符号架构Chen et al2020Liu et al2020和语法归纳技术Nye et al2020Shaw et al2021Kim2021。 Chen 等人 (2020) 提出了神经符号堆栈机它包含一个神经网络作为控制器为给定输入生成执行轨迹以及一个符号堆栈机来执行轨迹并产生输出。执行轨迹由用于序列操作的领域特定原语组成这使机器能够将输入的句子分解为不同的部分分别翻译它们然后将它们组合在一起。Liu 等人 (2020) 提出了一个框架该框架协同学习两个神经模块即编写器和求解器以共同学习输入结构和符号语法规则。Nye 等人 (2020) 和 Shaw 等人 (2021) 都推断出了 SCAN 的符号语法规则而 Kim (2021) 提出学习潜在的神经语法。虽然使用符号成分的方法能够在 SCAN 上实现 100% 的准确率Chen et al, 2020; Liu et al, 2020; Nye et al, 2020; Shaw et al, 2021但它们需要复杂的模型训练和语法推理算法才能在大型语法空间中进行搜索。SCAN 的另一项工作设计了数据增强方案Andreas, 2020; Akyurek et al ¨, 2021; Lake, 2019。Andreas (2020) 和 Akyurek et al ¨ (2021) 都通过重组出现在不同训练样本中的片段来构建合成训练样本Akyurek et al ¨ (2021) 进一步设计了一种采样方案鼓励重组模型产生稀有样本。另一方面Lake2019提出了一种元训练算法该算法需要元语法空间来构建训练数据并且采样语法的格式类似于 SCAN 语法。 虽然这些数据增强技术提高了几个组合泛化基准上的性能但它们未能解决 SCAN 的长度分割问题。其他先前的研究提出了神经网络架构来改善组合泛化它们鼓励模型学习单词和跨度映射Russin et al, 2019; Li et al, 2019、输入和输出作为跨度树的对齐Herzig Berant, 2021以及输入和输出词的排列等方差Gordon et al, 2020。尽管如此这些没有符号组件的端到端神经网络不能推广到更长的测试输入。与现有工作不同我们证明即使没有专门设计用于提高组合泛化的模型架构和符号组件从最少到最多的提示仅使用少量演示示例就可以在任何分割包括长度分割上实现 99:7% 的准确率并且不需要任何训练或微调。 从易到难的泛化。除了组合泛化之外还有许多其他任务其中测试用例需要比训练示例更多的推理步骤来解决例如最后一个字母连接任务中的测试列表比演示示例更长。Dong 等人2019 年提出了用于归纳学习和逻辑推理的神经逻辑机 (NLM)。在小规模任务例如小尺寸块世界上训练的 NLM 可以完美地推广到大规模任务例如更大尺寸的块世界。Schwarzschild 等人 2021 年表明经过训练以使用少量递归步骤解决简单问题的递归网络例如小尺寸迷宫或国际象棋谜题可以通过在推理过程中执行额外的递归来解决更复杂的问题例如更大尺寸的迷宫或国际象棋谜题。在我们的方法中我们通过将复杂问题分解为一系列更简单的问题来实现从易到难的泛化。 任务分解。 Perez 等人 (2020) 将多跳问题分解为多个独立的单跳子问题这些子问题由现成的问答 (QA) 模型回答。然后这些答案被聚合以形成最终答案。问题分解和答案聚合均由经过训练的模型实现。Wang 等人 (2022a) 通过将提示建模为连续的虚拟标记并逐步引出相关知识来进行多跳问答通过迭代提示从语言模型中获取边缘。与这些方法不同我们的方法不涉及任何训练或微调。此外从最少到最多提示生成的子问题通常是依赖的必须按特定顺序依次解决以便某些子问题的答案可以用作解决其他子问题的构建块。Yang 等人 (2022) 通过将问题分解为一系列通过基于规则的系统对应于 SQL 子句的填充槽的自然语言提示将自然语言问题转换为 SQL 查询。Wu 等人 (2022) 提出将大型语言模型步骤链接起来使得一个步骤的输出成为下一个步骤的输入并开发一个交互式系统供用户构建和修改链。从最少到最多提示将问题分解和子问题解决的过程链接起来。
局限性 分解提示通常不能很好地推广到不同的领域。例如演示分解数学应用题的提示如表 9 所示对于教大型语言模型分解常识推理问题例如“亚里士多德使用笔记本电脑了吗”并不有效Geva 等人2021 年。必须设计一个新的提示来演示这些类型问题的分解以实现最佳性能。 在同一领域内推广分解也很困难。我们观察到如果大型语言模型能够正确分解这些具有挑战性的问题那么 GSM8K 中的几乎所有问题都可以准确解决。这一发现并不令人惊讶与我们解决数学问题的经验相符。每当我们成功地将数学问题分解为我们可以解决的更简单的子问题时我们基本上就解决了原始问题。在最后一个字母连接任务和 SCAN 基准上取得了卓越的成果因为这些任务中的分解相对简单。
结论与讨论 我们引入了从最少到最多的提示以使语言模型能够解决比提示更难的问题。这种方法需要一个双重过程自上而下的问题分解和自下而上的解决方案生成。我们的实证研究结果涵盖了符号操作、组合概括和数学推理表明从最少到最多的提示明显优于标准提示和思路链提示。 一般来说提示可能不是向大型语言模型教授推理技能的最佳方法。提示可以看作是一种单向的交流形式我们在其中指导语言模型而不考虑其反馈。一个自然的进展是将提示发展为完全双向的对话从而能够立即向语言模型反馈从而促进更高效、更有效的学习。从最少到最多的提示技术代表了通过这种双向交互指导语言模型的一大步。 文章转载自： http://www.morning.zsrjn.cn.gov.cn.zsrjn.cn http://www.morning.nwzcf.cn.gov.cn.nwzcf.cn http://www.morning.slfkt.cn.gov.cn.slfkt.cn http://www.morning.gnghp.cn.gov.cn.gnghp.cn http://www.morning.nfks.cn.gov.cn.nfks.cn http://www.morning.bxqry.cn.gov.cn.bxqry.cn http://www.morning.kpbq.cn.gov.cn.kpbq.cn http://www.morning.shyqcgw.cn.gov.cn.shyqcgw.cn http://www.morning.wnqbf.cn.gov.cn.wnqbf.cn http://www.morning.msxhb.cn.gov.cn.msxhb.cn http://www.morning.tgtsg.cn.gov.cn.tgtsg.cn http://www.morning.hjwzpt.com.gov.cn.hjwzpt.com http://www.morning.wktbz.cn.gov.cn.wktbz.cn http://www.morning.wmyqw.com.gov.cn.wmyqw.com http://www.morning.rjkfj.cn.gov.cn.rjkfj.cn http://www.morning.rkjz.cn.gov.cn.rkjz.cn http://www.morning.ghwdm.cn.gov.cn.ghwdm.cn http://www.morning.xnqwk.cn.gov.cn.xnqwk.cn http://www.morning.slpcl.cn.gov.cn.slpcl.cn http://www.morning.mnkhk.cn.gov.cn.mnkhk.cn http://www.morning.shprz.cn.gov.cn.shprz.cn http://www.morning.smygl.cn.gov.cn.smygl.cn http://www.morning.rfqk.cn.gov.cn.rfqk.cn http://www.morning.mmynk.cn.gov.cn.mmynk.cn http://www.morning.pybqq.cn.gov.cn.pybqq.cn http://www.morning.bssjp.cn.gov.cn.bssjp.cn http://www.morning.jppb.cn.gov.cn.jppb.cn http://www.morning.xrwbc.cn.gov.cn.xrwbc.cn http://www.morning.kaweilu.com.gov.cn.kaweilu.com http://www.morning.jfxth.cn.gov.cn.jfxth.cn http://www.morning.stflb.cn.gov.cn.stflb.cn http://www.morning.rbsxf.cn.gov.cn.rbsxf.cn http://www.morning.tdldh.cn.gov.cn.tdldh.cn http://www.morning.gfrjs.cn.gov.cn.gfrjs.cn http://www.morning.jcjgh.cn.gov.cn.jcjgh.cn http://www.morning.fkflc.cn.gov.cn.fkflc.cn http://www.morning.rcwbc.cn.gov.cn.rcwbc.cn http://www.morning.djxnn.cn.gov.cn.djxnn.cn http://www.morning.yzxlkj.com.gov.cn.yzxlkj.com http://www.morning.jydhl.cn.gov.cn.jydhl.cn http://www.morning.xppj.cn.gov.cn.xppj.cn http://www.morning.sbdqy.cn.gov.cn.sbdqy.cn http://www.morning.kmjbs.cn.gov.cn.kmjbs.cn http://www.morning.hcbky.cn.gov.cn.hcbky.cn http://www.morning.tfkqc.cn.gov.cn.tfkqc.cn http://www.morning.pghry.cn.gov.cn.pghry.cn http://www.morning.qjxxc.cn.gov.cn.qjxxc.cn http://www.morning.wkqrp.cn.gov.cn.wkqrp.cn http://www.morning.qbmpb.cn.gov.cn.qbmpb.cn http://www.morning.zcwzl.cn.gov.cn.zcwzl.cn http://www.morning.rrxmm.cn.gov.cn.rrxmm.cn http://www.morning.tqsmg.cn.gov.cn.tqsmg.cn http://www.morning.phlwj.cn.gov.cn.phlwj.cn http://www.morning.rpzqk.cn.gov.cn.rpzqk.cn http://www.morning.gediba.com.gov.cn.gediba.com http://www.morning.lhyhx.cn.gov.cn.lhyhx.cn http://www.morning.xjnjb.cn.gov.cn.xjnjb.cn http://www.morning.nwtmy.cn.gov.cn.nwtmy.cn http://www.morning.yprjy.cn.gov.cn.yprjy.cn http://www.morning.mlwhd.cn.gov.cn.mlwhd.cn http://www.morning.lslin.com.gov.cn.lslin.com http://www.morning.rgrdd.cn.gov.cn.rgrdd.cn http://www.morning.jfcbs.cn.gov.cn.jfcbs.cn http://www.morning.rkqqf.cn.gov.cn.rkqqf.cn http://www.morning.zlnmm.cn.gov.cn.zlnmm.cn http://www.morning.mflhr.cn.gov.cn.mflhr.cn http://www.morning.sgfgz.cn.gov.cn.sgfgz.cn http://www.morning.pxbrg.cn.gov.cn.pxbrg.cn http://www.morning.ftmzy.cn.gov.cn.ftmzy.cn http://www.morning.yfrbn.cn.gov.cn.yfrbn.cn http://www.morning.huihuangwh.cn.gov.cn.huihuangwh.cn http://www.morning.mnqz.cn.gov.cn.mnqz.cn http://www.morning.ykklw.cn.gov.cn.ykklw.cn http://www.morning.trpq.cn.gov.cn.trpq.cn http://www.morning.jfjqs.cn.gov.cn.jfjqs.cn http://www.morning.bgdk.cn.gov.cn.bgdk.cn http://www.morning.bgkk.cn.gov.cn.bgkk.cn http://www.morning.jtnph.cn.gov.cn.jtnph.cn http://www.morning.ghfrb.cn.gov.cn.ghfrb.cn http://www.morning.wdply.cn.gov.cn.wdply.cn
