厦门城乡住房建设厅网站,欢迎访问中国建设银行官方网站,天津网站建设索王道下拉,补肾吃什么东西效果最好Abstract
transformers凭借其对大型数据集的扩展能力#xff0c;彻底改变了视觉和自然语言处理。但在机器人操作中#xff0c;数据既有限又昂贵。通过正确的问题表述#xff0c;操纵仍然可以从变形金刚中受益吗#xff1f;我们使用peract来研究这个问题#xff0c;peract…Abstract
transformers凭借其对大型数据集的扩展能力彻底改变了视觉和自然语言处理。但在机器人操作中数据既有限又昂贵。通过正确的问题表述操纵仍然可以从变形金刚中受益吗我们使用peract来研究这个问题peract是一种用于多任务6-dof操作的语言条件行为克隆agent。peract使用感知器transformer[1]对语言目标和rgb-d体素观测值进行编码并通过“检测下一个最佳体素动作”输出离散化动作。与在2d图像上操作的框架不同体素化的3d观察和动作空间为有效学习6-dof动作提供了强大的结构先验。通过这个公式我们从每个任务的几个演示中训练了一个多任务transformer用于18个rlbench任务有249个变体和7个真实世界任务有18个变体。我们的结果表明在各种桌面任务中peract的表现明显优于非结构化图像到动作agents和3d convnet基线。 Keywords:Transformers, Language Grounding, Manipulation, Behavior Cloning 1 Introduction
Transformers[2]已经在自然语言处理和计算机视觉中广泛应用。通过将问题作为序列建模任务并对大量不同的数据进行训练Transformers在多个领域取得了突破性的成果[3,4,5,6]。即使在通常不涉及序列建模的领域中[7,8]Transformers也被用作通用架构[9]。但在机器人操作中数据既有限又昂贵。我们还能把Transformers的力量用正确的问题表述带到六自由度操纵吗?
语言模型对tokens序列进行操作[10]视觉transformers对图像patch序列进行操作[4]。虽然存在像素transformers[11,1]但它们的数据效率不如使用卷积或补丁 patches 来利用图像的二维结构的方法。因此尽管transformers可能与领域无关但它们仍然需要正确的问题表述来实现数据效率。在直接将2d图像映射到6-dof动作的行为克隆(bc) agents中也存在类似的效率问题。像gato[9]和bc-z[12,13]这样的智能体已经显示出令人印象深刻的多任务能力但它们需要数周甚至数月的数据收集。相比之下最近在强化学习方面的工作如c2farm[14]构建了一个体素化的观察和动作空间利用3d卷积神经网络有效地学习3d动作的视觉表征。同样在这项工作中我们的目标是利用transformers利用体素补丁的3d结构进行高效的6-dof行为克隆(类似于视觉transformers[4]利用图像补丁的2d结构)。
为此我们提出了peract (perception - actor的缩写)这是一种语言条件bc agent它可以学习模仿各种各样的6自由度操作任务每个任务只需要几个演示。peract编码一系列rgb-d体素补丁并预测离散的平移、旋转和夹持动作这些动作在观察-行动循环中由运动规划器执行。peract本质上是一个经过监督学习训练的分类器用于检测类似于cliport[16,17]等先前工作的动作只不过我们的观察和动作是用3d体素而不是2d图像像素表示的。
由于高维输入的缩放问题 scaling issues在端到端bc方法中体素网格不像图像那么普遍。但在peract中我们使用percepver Transformer[1]来编码高达100万体素的高维输入仅使用一小组潜在向量。这种基于体素的公式 formulation 提供了强大的结构先验具有以下几个优点:融合多视图观察的自然方法学习稳健的以行动为中心的表征[18,19]以及在6-dof中实现数据增强——所有这些都有助于通过专注于多样化而不是狭隘的多任务数据来学习可推广的技能。
为了研究这种公式 formulation 的有效性我们在rlbench[15]环境中进行了大规模实验。我们在18个不同的任务上训练了一个多任务agent这些任务有249个变体涉及一系列可理解和不可理解的行为如将酒瓶放在架子上和用棍子拖动物体见图1-a-j。每个任务还包括几个姿势和语义变化对象的位置、颜色、形状、大小和类别各不相同。我们的结果表明在不使用实例分割、对象姿势、内存或符号状态的任何显式表示的情况下peract明显优于图像到动作agents34倍和3d convnet基线2.8倍。我们还使用franka panda验证了我们的方法该多任务agent在7个真实任务上从头开始训练总共只进行了53次演示见图1 k-o。 图1。语言条件操纵任务peract是一个语言条件多任务agent能够模拟各种6-dof操纵任务。我们在rlbench[15]中对18个模拟任务进行了实验a-j仅显示了10个其中有几个姿势和语义变化。我们还用franka panda在7个真实世界的任务k-o只显示了5个上演示了我们的方法用53个演示训练了多任务agent。请参阅补充视频了解模拟和现实世界的推出情况。 总之我们的贡献如下
一个用transformers来感知、执行和指定目标的新问题表述。一个有效的以行动为中心的框架用于在6-dof行动中接地语言 grounding language。在一系列模拟和现实世界任务中调查多任务agents的实证结果。
2 Related Work
Vision for Manipulation.
传统上机器人感知方法使用明确的“对象”表示如实例分割、对象类别、姿势[20,21,22,23,24,25]。这些方法很难处理像布和豆子这样的可变形的颗粒状物品因为这些物品很难用几何模型或分割来表示。相比之下最近的方法[26,17,16,27]在没有任何“对象性”假设的情况下学习以动作为中心的表示但它们仅限于具有简单拾取和放置原语的自上而下 top-down 的2d设置。在3d方面james等人提出了c2farm[14]这是一种以行动为中心的强化学习(rl) agent具有粗粒度到细粒度的3d- unet主干。从粗到细的方案有一个有限的接受域 receptive field不能在最好的水平上观察整个场景。相比之下peract通过transformer骨干学习具有全局接受域的以动作为中心的表示。此外peract使用bc而不是rl这使我们能够通过使用语言目标来轻松训练多任务agent来完成多个任务。
End-to-End Manipulation
方法[28,29,30,31]对对象和任务的假设最少但通常被表述为图像到动作的预测任务。直接在RGB图像上进行6自由度任务的训练通常效率很低通常需要几次演示或几集 episodes 才能学习像重新排列对象这样的基本技能。相比之下PERACT使用体素化观察和动作空间在6自由度设置中效率更高鲁棒性更强。虽然其他关于6-DoF抓取的研究[32,33,34,35,36,37]使用了RGB-D和点云输入但它们尚未应用于顺序任务或与语言条件反射一起使用。另一项工作通过使用预训练的图像表示[16,38,39]来引导BC来解决数据效率低下的问题。虽然我们的框架是从零开始训练的但这种预训练方法可以在未来的工作中集成在一起以获得更高的效率和对看不见的对象的泛化。
Transformers for Agents and Robots.
transformers已成为多个领域的流行架构。从nlp开始[2,3,40]最近在视觉[4,41]甚至rl[8,42,43]。在机器人技术中transformers已被应用于辅助遥操作[44]、腿部运动[45]、路径规划[46,47]、模仿学习[48,49]、形态控制器[50]、空间重排[51]和抓取[52]。transformers在多领域设置中也取得了令人印象深刻的结果例如在gato[9]中单个transformer在16个领域domains上进行了训练如字幕 captioning 、语言基础 language-grounding、机器人控制等。然而gato依赖于非常大的数据集比如15k集用于块堆叠 block stacking94k集用于元世界[53]任务。我们的方法可能会补充像gato这样的agents后者可以使用我们的3d配方来提高效率和鲁棒性。
Language Grounding for Manipulation.
一些工作已经提出了机器人动作中语言基础的方法[54,55,56,57,58,59,60,61,62,63,64,65]。然而这些方法使用无纠缠的管道 disentangled pipelines 理解为非端到端方法 进行感知和行动语言主要用于指导感知[66]。最近已经提出了一些端到端方法[13,12,67,68,69]用于用语言指令调节bc agents。这些方法需要在几天甚至几个月内收集数千个人类演示或自主情节。相比之下peract只需要几分钟的训练数据就可以学习到鲁棒的多任务policies。对于基准测试存在几种模拟环境[70,17,53]但我们使用rlbench[15]因为它具有6-dof任务的多样性并且易于使用模板语言目标生成演示。
3 PERCEIVER-ACTOR
peract是一个用于6自由度操作的语言条件行为克隆agent。关键思想是学习以语言目标为条件的行为的知觉表征。给定场景的体素化重建我们使用Perceiver transformer[1]来学习每体素特征。尽管有非常大的输入空间percepver使用一组小的潜在向量来编码输入。然后使用每体素特征来预测下一个最佳动作根据离散的平移、旋转和每个时间步的抓手状态。peract完全依赖于当前的观察来确定顺序任务的下一步要做什么。请参见图2了解概述。
第3.1节和第3.2节描述了我们的数据集设置。第3.3节描述了我们使用PERACT的问题公式第3.4节提供了培训PERACT的详细信息。进一步的实施细节见附录B。 图2。peract概述。peract是一个经过监督学习训练的语言条件行为克隆agent用于检测动作。peract以语言目标和由rgb-d传感器重建的体素网格作为输入。体素被分割成3d块语言目标用预训练的语言模型进行编码。这些语言和体素特征作为一个序列附加在一起并使用percepver transformer进行编码[1]。尽管输入序列非常长但percepver使用一小组潜在向量对输入进行编码(见附录图6)。通过解码器将这些编码上采样回原始体素尺寸并用线性层进行重塑以预测离散化的平移、旋转、打开夹持器和避免碰撞动作。这个动作是用一个运动规划器执行的之后新的观察被用来预测下一个离散的动作在一个观察-行动循环中直到终止。 3.1 Demonstrations
我们假设访问一个数据集(n个专家演示)每个演示与英语语言目标。这些演示由一位专家在运动规划器的帮助下收集以达到中间姿势。每个演示ζ是一个连续动作的序列与观测值。动作由6自由度姿态、夹持器打开状态以及运动规划器是否使用碰撞避免达到中间姿态组成:。观测结果由来自任意数量的相机的RGB-D图像组成。我们在模拟实验中使用了四个摄像头但在真实实验中只使用了一个摄像头。
3.2 Keyframes and Voxelization
继James等人[14]之前的工作之后我们通过关键帧提取和体素化构建了一个结构化的观察和动作空间。
训练我们的agent直接预测连续动作是低效和嘈杂的。因此对于每个演示ζ我们提取一组关键帧动作用一个简单的启发式方法捕捉动作序列中的瓶颈末端执行器姿势[71]:如果(1)关节速度接近于零且(2)夹持器打开状态没有改变则动作是关键帧。演示中的每个数据点ζ可以被转换为“预测下一个(最佳)关键帧动作”任务[14,72,73]。参见附录图f以了解该过程的说明。
为了在3d中学习以动作为中心的表征[18]我们使用体素网格[74,75]来表示观察空间和动作空间。观测体素v由rgb-d观测数据重建而成通过三角剖分 triangulation 将观测体素v融合从已知的相机外内参。默认情况下我们使用的体素网格这相当于1.0m3的公制体积。关键帧动作k被离散化这样训练我们的bc agent可以被表述为“下一个最佳行动 ”next best action分类任务[14]。平移 Translation 只是最接近抓手手指中心的体素。旋转离散成5度块为每三个旋转轴。夹持器打开状态是一个二进制值。collision也是一个二进制值用于指示运动规划器是应该避免体素网格中的所有内容还是什么都不做;在这两种避碰模式之间切换是至关重要的因为任务通常涉及基于接触的动作(例如拉开抽屉)和非基于接触的动作(例如到达手柄而不碰撞到任何东西)。
3.3 PERACT Agent
peract是一种基于transformer的[2]agent它接受体素观察和语言目标(v, l)并输出离散化的平移、旋转和夹持器打开动作。这个动作由运动规划器执行然后重复这个过程直到达到目标。
语言目标 l 用预训练的语言模型进行编码。我们使用clip的[76]语言编码器但任何预训练的语言模型都足够了[13,69]。我们对clip的选择为未来的工作开辟了可能性即使用与语言对齐的预训练视觉特征以便更好地泛化到看不见的语义类别和实例[16]。
体素观测v被分割成尺寸为的3d块(类似于vit[4])。在实现中这些斑块是用一个核大小和步长为5的3d卷积层提取的然后被平面化成一个体素编码序列。语言编码通过线性层进行微调然后添加体素编码形成输入序列。我们还将可学习的位置嵌入添加到序列中以合并体素和token位置。
语言和体素编码的输入序列非常长。标准的Transformer具有自关注连接和个补丁的输入很难适合商用gpu的内存。相反我们使用Perceiver[1]Transformer。Perceiver是一个潜在空间Transformer它不是关注整个输入而是首先计算输入和一组更小的潜在向量(随机初始化和训练)之间的交叉注意。这些潜在信号是用自关注层编码的对于最终输出这些潜在信号再次与输入交叉关注以匹配输入大小。参见附录图6的说明。默认情况下我们使用2048个512维的潜在变量但在附录g中我们实验了不同的潜在大小。 Perceiver Transformer使用6个自注意层对潜在进行编码并从输出交叉注意层输出一系列补丁编码。这些补丁编码通过三维卷积层和三线性 tri-linear 上采样来解码64维体素特征。解码器包括从编码器的跳过连接(如unets[77])。然后使用每体素特征来预测离散的动作[14]。为了进行平移将体素特征重塑为原始体素网格(1003)形成动作值的3d q函数。对于旋转、夹持打开和碰撞特征被最大池化然后用线性层解码形成各自的q函数。最佳行动t是通过简单地最大化q函数来选择的 其中(x, y, z)为体素在网格中的位置(ψ θ φ)为欧拉角的离散旋转ω为夹持器打开状态κ为碰撞变量。有关q -prediction的示例请参见图5。 图5。q -预测示例:来自PERACT的 translation q -预测的定性示例以及专家行动用虚线圈突出显示。左边两个是模拟任务右边两个是真实世界的任务。更多示例参见附录J。 3.4 Training Details
peract是通过监督学习使用来自演示数据集的离散时间输入动作元组进行训练的。这些元组由体素观察、语言目标和关键帧动作组成。在训练过程中我们随机采样一个元组并监督agent在给定观察值和目标vl的情况下预测关键帧动作k。对于平移真实动作真值表示为一个单热体素编码。旋转也用每个旋转轴一个 one-hot 编码来表示r个旋转箱 R rotation bins 所有实验的R5度。同样开合变量和碰撞变量是二进制一热向量。agent像分类器一样用交叉熵损失进行训练 其中 。为了鲁棒性我们还用平移和旋转扰动来增强v和k。详见附录E。
默认情况下我们使用的体素网格大小。我们通过重放具有离散动作的专家演示来进行验证测试以确保是足够的执行分辨率。agent在8个nvidia v100 gpu上以16的批量进行了16天的训练600k迭代。我们在Perceiver[1]之后使用lamb[78]优化器。
对于多任务训练我们只需从数据集中的所有任务中采样输入动作元组。为了确保在采样过程中具有较长视野的任务不会被过度表示每个批次都包含均匀分布的任务。也就是说我们首先对一组大小为bs的任务进行均匀采样然后为每个采样的任务选择一个随机的输入动作元组。通过这种策略长距离任务需要更多的训练步骤来完全覆盖输入动作对但在梯度更新过程中所有任务都被赋予相等的权重。
4 Results
我们进行实验来回答以下问题
1与非结构化图像到动作框架和3D卷积网络等标准架构相比PERACT的有效性如何影响PERACT性能的因素是什么
2 Transformers的全局感受野真的比具有局部感受野的方法有益吗
3 PERACT可以在有噪声数据的现实世界任务上进行训练吗
4.1 Simulation Setup
为了可重复性和基准测试我们在模拟中进行了初步实验。
Environment.
模拟设置在CoppelaSim[79]中并通过PyRep[80]进行接口连接。所有实验都使用带有平行夹具的Franka Panda机器人。如附录图7所示输入观测值是从位于前部、左肩、右肩和手腕上的四个RGB-D相机捕获的。所有相机均无噪音分辨率为128×128。
Language-Conditioned Tasks. 我们在18个rlbench[15]任务上进行训练和评估。示例请参见peract.github.io单个任务的详细信息请参见附录a。每个任务包括几个变体范围从2到60种可能性不等例如在堆块任务中“堆2个红色块”和“堆4个紫色块”是两个变体。这些变体在数据生成过程中随机采样但在评估过程中保持一致以便进行一对一的比较。一些rlbench任务被修改为包括额外的变体以进行压力测试多任务和语言基础能力。18个任务中共有249个变体提取的关键帧数量在2到17之间。一集中的所有关键帧都有相同的语言目标该目标是由模板构建的但针对真实世界的任务进行了人工注释。请注意在所有实验中我们不测试对看不见的对象的泛化能力也就是说我们的训练对象和测试对象是相同的。然而在测试期间agent必须处理新的对象姿势、随机采样的目标和随机采样的场景这些场景具有对象颜色、形状、大小和类别的不同语义实例化。这里的重点是评估在所有任务和变体上训练的单个多任务agent的性能
Evaluation Metric.
每个多任务agent都在所有18个任务上独立评估。评估得分为0分表示失败100分表示完全成功。没有部分学分。我们报告了每项任务25次评估事件25×18450次总事件的平均成功率其中agents训练了n10100次演示。在评估过程中agent会一直采取行动直到预言机指示任务完成或达到最多25个步骤。
4.2 Simulation Results
表1报告了在所有18个任务上训练的多任务agents的成功率。由于训练18个个体agents的资源限制我们无法调查单个任务agents。 表1。多任务测试结果。各种多任务agents任务的成功率平均%每项任务进行10或100次演示训练并在每项任务25次发作时进行评估。每个评估事件的得分为0分失败或100分成功。peract的表现优于最具竞争力的基线c2farm-bc[14]在10个演示中平均提高了1.33倍在100个演示中提高了2.83倍。 Baseline Methods.
我们通过对比两个语言条件基线Image-BC和c2farm-bc来研究我们的问题公式的有效性。Image-BC是一个图像到动作agent类似于bc-z[12]。在bc-z之后我们使用FiLM[81]进行CLIP[76]语言特征的调节但视觉编码器接收RGB-D图像而不仅仅是RGB图像。我们还研究了cnn和vit视觉编码器。c2farm-bc是james等人[14]开发的一种3d全卷积网络在rlbench任务上取得了最先进的成果。与我们的agent类似c2farmbc也可以检测体素化空间中的动作但它使用从粗到细的粒度方案来检测两个体素化级别的动作个具有1m网格的体素以及从第一级“放大”后具有m网格的个体素。请注意在最高级别上c2farm-bc的分辨率0.47cm高于peract1cm。我们使用与james等人[14]相同的3d convnet架构但我们没有用rl训练它而是用交叉熵损失进行bc来自第3.4节。我们还使用clip[76]语言功能在瓶颈处对其进行调节如lingUNets[82,16]中所述。
Multi-Task Performance.
表1比较了Image BC和C2FARMBC与PERACT的性能。由于演示不足Image BC在大多数任务上的性能几乎为零。imageBC在单视图观察中处于不利地位必须从头开始学习手眼协调hand-eye coordination。相比之下PERACT基于体素的公式自然允许集成多视图观察、学习6-DoF动作表示和3D数据增强所有这些在基于图像的方法中都是不容易实现的。C2FARM-BC是最具竞争力的基线但它的感受野有限主要是因为粗粒到细粒的方案部分是由于仅卷积的架构。
在表1中的25/36项评估中PERACT的表现优于C2FARM-BC10次演示的平均改善率为1.33倍100次演示的改善率为2.83倍。对于许多任务C2FARM-BC实际上在更多的演示中表现较差这可能是由于容量不足。由于额外的训练演示包括需要优化的额外任务变体它们最终可能会损害性能。
一般来说10次演示就足以让peract在打开抽屉3种变体等变化有限的任务上取得65%的成功。但是具有更多变化的任务如堆块60个变化需要更多的数据有时只是为了涵盖所有可能的概念如“青色块”这些概念可能没有出现在训练数据中。请参阅补充视频中的模拟部署以了解这些评估的复杂性。对于三个任务插入钉子、堆叠杯子和放置杯子所有agents都几乎没有成功。这些是非常高精度的任务偏离几厘米或几度可能会导致不可恢复的故障。但在附录h中我们发现专门针对这些任务训练单任务agents可以略微缓解这个问题。
Ablations.
表1报告了PERACT w/o Lang一个没有任何语言条件的agent。如果没有语言目标agent就不知道底层任务只能随意执行。我们还报告了图3中打开抽屉任务的额外消融结果。总结这些结果1跳跃连接有助于更快地训练agent2Perceiver transformer对于在全局感受野中实现良好性能至关重要3提取良好的关键帧动作对于监督训练至关重要因为随机选择或固定间隔的关键帧会导致零性能。 图3。消融实验。消融关键部件后PERACT的成功率。 Sensitivity Analysis
在附录g中我们研究了影响peract性能的因素the number of Perceiver latents 隐变量数量、体素化分辨率和数据增强。我们发现更多的潜在向量通常会提高agent对更多任务进行建模的能力但对于简单的短期任务更少的latents就足够了。同样对于不同的体素化分辨率一些任务可以用粗糙的体素网格如来解决但一些高精度任务需要完整的网格。最后数据增强中的旋转扰动通常有助于提高鲁棒性主要是通过将agent暴露在对象的更多旋转变化中。
4.3 Global vs. Local Receptive Fields
为了进一步研究我们的transformer agent的全局感受野我们对打开抽屉的任务进行了额外的实验。打开抽屉的任务有三种变体“打开顶部抽屉”、“打开中间抽屉”和“打开底部抽屉”由于接受域有限很难区分抽屉把手因为它们在视觉上都是相同的。
图4报告了peract和c2farm-bc agents经过100次演示的训练。虽然打开抽屉的任务可以通过较少的演示来解决但在这里我们希望确保数据不足不是问题。我们包括具有不同体素化方案的几个版本的c2farm-bc。例如[16,16]分别表示1m3和0.15m3的个体素网格的两个级别。[64]表示个体素网格的单层没有粗粒度到细粒度方案。peract是唯一一个成功率超过70%的agent而所有c2farm-bc版本的成功率都是约33%这表明transformer的全局感受野对于解决任务至关重要。 图4。全局与局部受体场实验。PERACT与各种C2FARM-BC[14]基线的成功率 4.4 Real-Robot Results
我们还用franka emika panda上的真实机器人实验验证了我们的结果。设置细节见附录d。在没有任何模拟到真实的转移或预训练的情况下我们从零开始在总共53个演示中的7个任务有18个独特的变体上训练了一个多任务peract agent。有关展示任务多样性和对场景变化鲁棒性的定性结果请参阅补充视频。表2报告了小规模评估的成功率。与模拟结果类似我们发现peract能够在简单的短期任务上实现65%的成功率例如从少数演示中按压洗手液。最常见的故障涉及预测不正确的夹具打开动作这通常会导致agent进入看不见的状态。这可以在未来的工作中通过使用hg dagger风格的方法来纠正agent[12]来解决。其他问题包括agent像之前的工作一样利用数据集中的偏差[16]。这可以通过扩大具有更多不同任务和任务变体的专家数据来解决。 表2。多任务模型训练了7个现实世界任务的成功率平均百分比见图1。 5 Limitations and Conclusion
我们提出了peract一种基于transformer的多任务agent用于6-dof操纵。我们对模拟和现实世界任务的实验表明正确的问题公式即检测体素动作在数据效率和鲁棒性方面有很大的不同。
虽然peract功能强大但将其扩展到灵巧的连续控制仍然是一个挑战。peract受制于基于采样的运动规划器来执行离散动作并且不容易扩展到多指手等n-dof执行器。有关peract局限性的详细讨论请参阅附录l。但总的来说我们很高兴通过Transformers扩展机器人学习专注于机器人操作的多样化而非狭隘的多任务数据。
附录
A Task Details
去 文章转载自： http://www.morning.cpctr.cn.gov.cn.cpctr.cn http://www.morning.hrrmb.cn.gov.cn.hrrmb.cn http://www.morning.dsprl.cn.gov.cn.dsprl.cn http://www.morning.xmxbm.cn.gov.cn.xmxbm.cn http://www.morning.njdtq.cn.gov.cn.njdtq.cn http://www.morning.mxmzl.cn.gov.cn.mxmzl.cn http://www.morning.gbxxh.cn.gov.cn.gbxxh.cn http://www.morning.rhnn.cn.gov.cn.rhnn.cn http://www.morning.smhtg.cn.gov.cn.smhtg.cn http://www.morning.bkgfp.cn.gov.cn.bkgfp.cn http://www.morning.rzscb.cn.gov.cn.rzscb.cn http://www.morning.pmysp.cn.gov.cn.pmysp.cn http://www.morning.wrtsm.cn.gov.cn.wrtsm.cn http://www.morning.krkwp.cn.gov.cn.krkwp.cn http://www.morning.qcfcz.cn.gov.cn.qcfcz.cn http://www.morning.dnhdp.cn.gov.cn.dnhdp.cn http://www.morning.jybj.cn.gov.cn.jybj.cn http://www.morning.rwqj.cn.gov.cn.rwqj.cn http://www.morning.pangucheng.cn.gov.cn.pangucheng.cn http://www.morning.mnwmj.cn.gov.cn.mnwmj.cn http://www.morning.qxycf.cn.gov.cn.qxycf.cn http://www.morning.xcbnc.cn.gov.cn.xcbnc.cn http://www.morning.ntqgz.cn.gov.cn.ntqgz.cn http://www.morning.mtymb.cn.gov.cn.mtymb.cn http://www.morning.mszwg.cn.gov.cn.mszwg.cn http://www.morning.tnwgc.cn.gov.cn.tnwgc.cn http://www.morning.lwtld.cn.gov.cn.lwtld.cn http://www.morning.qbpqw.cn.gov.cn.qbpqw.cn http://www.morning.bpmnh.cn.gov.cn.bpmnh.cn http://www.morning.lbbrw.cn.gov.cn.lbbrw.cn http://www.morning.hympq.cn.gov.cn.hympq.cn http://www.morning.cpzkq.cn.gov.cn.cpzkq.cn http://www.morning.wrdpj.cn.gov.cn.wrdpj.cn http://www.morning.cnfxr.cn.gov.cn.cnfxr.cn http://www.morning.wqfzx.cn.gov.cn.wqfzx.cn http://www.morning.jrdbq.cn.gov.cn.jrdbq.cn http://www.morning.tnbas.com.gov.cn.tnbas.com http://www.morning.mfbzr.cn.gov.cn.mfbzr.cn http://www.morning.bhdtx.cn.gov.cn.bhdtx.cn http://www.morning.fyxtn.cn.gov.cn.fyxtn.cn http://www.morning.hnhgb.cn.gov.cn.hnhgb.cn http://www.morning.bxdlrcz.cn.gov.cn.bxdlrcz.cn http://www.morning.plxhq.cn.gov.cn.plxhq.cn http://www.morning.phwmj.cn.gov.cn.phwmj.cn http://www.morning.dqxnd.cn.gov.cn.dqxnd.cn http://www.morning.qjfkz.cn.gov.cn.qjfkz.cn http://www.morning.lmxzw.cn.gov.cn.lmxzw.cn http://www.morning.tqdqc.cn.gov.cn.tqdqc.cn http://www.morning.ydmml.cn.gov.cn.ydmml.cn http://www.morning.pycpt.cn.gov.cn.pycpt.cn http://www.morning.mlfgx.cn.gov.cn.mlfgx.cn http://www.morning.zzhqs.cn.gov.cn.zzhqs.cn http://www.morning.ghyfm.cn.gov.cn.ghyfm.cn http://www.morning.nbqwr.cn.gov.cn.nbqwr.cn http://www.morning.wqbfd.cn.gov.cn.wqbfd.cn http://www.morning.lsmnn.cn.gov.cn.lsmnn.cn http://www.morning.fhjnh.cn.gov.cn.fhjnh.cn http://www.morning.tgczj.cn.gov.cn.tgczj.cn http://www.morning.pjwfs.cn.gov.cn.pjwfs.cn http://www.morning.glbnc.cn.gov.cn.glbnc.cn http://www.morning.wknjy.cn.gov.cn.wknjy.cn http://www.morning.njhyk.cn.gov.cn.njhyk.cn http://www.morning.hbfqm.cn.gov.cn.hbfqm.cn http://www.morning.dqpnd.cn.gov.cn.dqpnd.cn http://www.morning.qwdqq.cn.gov.cn.qwdqq.cn http://www.morning.byzpl.cn.gov.cn.byzpl.cn http://www.morning.zcyxq.cn.gov.cn.zcyxq.cn http://www.morning.jlktz.cn.gov.cn.jlktz.cn http://www.morning.fksxs.cn.gov.cn.fksxs.cn http://www.morning.qwnqt.cn.gov.cn.qwnqt.cn http://www.morning.nrddx.com.gov.cn.nrddx.com http://www.morning.yqsq.cn.gov.cn.yqsq.cn http://www.morning.bhxzx.cn.gov.cn.bhxzx.cn http://www.morning.sfdsn.cn.gov.cn.sfdsn.cn http://www.morning.yzxhk.cn.gov.cn.yzxhk.cn http://www.morning.lxfqc.cn.gov.cn.lxfqc.cn http://www.morning.hdscx.cn.gov.cn.hdscx.cn http://www.morning.gmysq.cn.gov.cn.gmysq.cn http://www.morning.smygl.cn.gov.cn.smygl.cn http://www.morning.gjws.cn.gov.cn.gjws.cn
