开发网站公司名称,传奇版本网页游戏,用dw做的网页如何上传到网站,宝安网站设计哪家好题目
无监督心电图分析一综述
摘要 电心图#xff08;ECG#xff09;是检测异常心脏状况的黄金标准技术。自动检测心电图异常有助于临床医生分析心脏监护仪每天产生的大量数据。由于用于训练监督式机器学习模型的带有心脏病专家标签的异常心电图样本数量有限#xff0c;对…题目
无监督心电图分析一综述
摘要 电心图ECG是检测异常心脏状况的黄金标准技术。自动检测心电图异常有助于临床医生分析心脏监护仪每天产生的大量数据。由于用于训练监督式机器学习模型的带有心脏病专家标签的异常心电图样本数量有限对于心电图分析越来越需要无监督学习方法。无监督学习旨在将心电图样本分成不同的异常类别而无需心脏病专家提供的标签这个过程被称为心电图聚类。除了异常检测心电图聚类还最近发现了反映有关整个身体和思维的互和内个体模式例如情绪、心理障碍和代谢水平等有价值的信息。心电图聚类还可以解决监督学习系统面临的特定挑战例如不平衡数据问题并可以增强生物识别系统。虽然已经有关于监督式心电图系统的几篇综述文章但是关于无监督心电图分析技术的综合性综述仍然缺乏。本研究主要回顾了过去十年主要发展的心电图聚类技术。重点放在最近的机器学习和深度学习算法以及它们的实际应用上。我们对这些技术进行了批判性的回顾和比较讨论了它们的应用和局限性并提供了未来的研究方向。这篇综述深入洞察了心电图聚类并提供了采用适用于特定应用的适当算法所需的必要信息。
引言 电心图ECG展现了心脏的电活动。它在重症监护室以及日常监测和可穿戴监护仪中常规记录每天产生大量数据。已经开发了基于监督式机器学习的许多系统利用心电图数据集和心脏病专家提供的标签将心跳分类为正常和几种异常类别[1]–[5]。然而心脏病专家只能分析和标记大量心电图数据的一个小子集以指示常见的心脏异常。此外大多数带有标签的心电图数据集是在受控环境中获得的例如医院和诊所并且与可能出现在不同生理和病理条件下的多样化心电图模式相比包含的样本非常有限。例如从处于应激状态或患有糖尿病的个体获取的心电图数据的模式据显示与正常情况下获取的模式不同[6][7]。因此最近提出了几种无监督学习方法用于分析心电图数据而无需心脏病专家提供的标签这个过程被称为心电图聚类。 然而无监督的心电图分析的需求并不仅仅源于心脏病专家提供的标签的不足。实际上存在着患者之间和患者内部的心电图模式和结构如果被发现可以进一步揭示有关心血管系统以及整个身体和心智的宝贵信息。发现这些关系可以揭示各种健康状况的复杂机制和重要生物标志物以及心智和身体的状态并最终指导医生进行精细的治疗决策。值得注意的是由于其复杂性和大量的数据这些模式的视觉识别是不可能的。然而这些模式可以通过聚类技术自动识别。例如心电图聚类已经帮助研究人员特别是在心理生理学领域发现与不同情绪状态如悲伤和情绪压力、脑部疾病如癫痫以及嗜睡状态等相关的隐藏的心电图模式[6][8][9]。心电图聚类还使研究人员能够发现在患有不同健康状况的患者中存在着明显的心脏异常和代谢水平差异包括糖尿病[7]夜间低血糖[10]栓塞性脑卒中[11]以及动脉粥样硬化[12]。 除了作为更广泛的知识发现系统的一部分应用之外聚类技术特别是基于深度学习的无监督方法如自编码器[13][14]和生成对抗网络[15]还被用于克服心电图监督学习系统面临的一些挑战如解决不平衡数据问题[16]和低级别的个体化心电图分类器自动化[17]–[19]。此外心电图聚类已经在生物特征认证[20]–[23]、心电图分割[24][25]和从腹部心电图中提取胎儿心电图[26]方面得到了应用。 迄今为止已经有一些研究回顾了监督学习的心电图分析技术[2]–[4][27]–[30]。然而据作者所知这项工作是第一个对无监督心电图分析系统进行全面且批判性的回顾。在这项工作中我们回顾了临床/医疗应用中的无监督心电图分析系统以及这些系统所采用的相关机器学习方法 - 从传统模型到最近的深度学习模型。为了进行全面的回顾我们搜索了多个平台包括IEEEXplore、ScienceDirect、Google Scholar、Scopus和PubMed数据库并在著名期刊和由知名引用指数排名的会议上选择了大多数在过去十年内发表的研究。我们讨论了这些最新研究进行了比较概述了它们的局限性并提供了未来的方向。这将使研究人员能够方便地获取所需信息并选择适合其特定应用的适当算法。
心电图ECG聚类 在应用聚类算法之前典型的心电图ECG聚类流程包括几个数据准备和预处理步骤。在本节中我们将简要回顾用于有效聚类心电图数据的数据准备技术包括去噪、分割和特征工程。然后我们将广泛回顾传统和最新的聚类算法包括深度学习方法并进行批判性比较。
心电图聚类的数据准备 用于去噪、分割和特征工程的方法在很大程度上与监督学习系统中使用的方法重叠。在这里我们简要介绍这些技术特别是那些专为心电图聚类量身定制的技术。感兴趣的读者可以参考文献[2]至[4]以获取更详细的信息。 1去噪和伪影去除此步骤旨在减少患者呼吸、皮肤伸展、电力线干扰和肌肉收缩的扭曲效应。心电图去噪系统通常基于移动平均滤波器、频率选择性滤波器、维纳滤波器、自适应滤波器和离散小波变换[31]。关于心电图去噪方法的更多信息可以在[31]中找到。 2分割经过去噪处理的心电图信号通常通过自动识别心跳来分割成准周期单元。一个心跳包括几个电波称为P、QRS和T波它们代表心脏房室心房和心室的去极化收缩和复极化舒张[32]。 大多数心电图聚类研究会检测QRS波复合物的峰值即R峰并沿着信号考虑两个连续R峰之间的间隔即整个心脏周期作为分割单位。很少有研究考虑了心电图信号的其他特征点用于分割[33]–[35]。鉴于心电图周期的PR、ST和TP段的异常形态可以指示常见的心脏疾病如心肌缺血、低钾血症和心房颤动[32]在分割中加入其他心电图特征点可以改善聚类结果。有些研究并不是通过在心电图信号中识别心脏周期来进行分割而是将信号分成固定的时间间隔而不识别任何特征点[36][37]。还有一些心电图聚类方法不执行分割[38][39]。这些方法直接从心电图信号中提取特征而不识别任何生理特征点。 3特征工程这一步旨在获取心电图片段的最具信息量的特征以促进下游的无监督学习任务。在这里我们简要介绍传统的心电图特征工程方法。更近期的深度学习方法在第 II-C 节中进行了介绍。 专业医生通常会检查 P、QRS 和 T 波的时间和幅度特征以诊断心脏疾病。然而心脏异常并不总是在时间域中可见[40]。通过功率谱分析和时频分析如小波变换获得的心电图信号频率信息可以填补这一空白。在小波变换中将输入的心电图与一组称为小波的有限持续函数之间的相关性被视为心电图特征[36][41]。有关时域、电压域和频域特征工程方法的更多详细信息感兴趣的读者可以参考以下来源[3][4][29][30]。 最近受自然启发的基于群体的优化方法如萤火虫算法和粒子群优化也被用于特征工程[42][43]。这些方法搜索那些在可能特征的庞大人群中能够在分类或聚类性能方面表现最佳的特征。例如Kora [42] 将心电图信号上的每个点视为可能的特征。她使用萤火虫算法寻找能够最大化用于将心电图片段分类为正常和心肌梗死类别的神经网络的准确性的点。有关受自然启发的特征工程方法的更多信息我们将读者引荐至以下来源[44]–[46]。 最后将心电图的分割单元进行聚类每个组包含那些根据预定义的相似度度量其对应的特征向量彼此之间比与其他组中的特征向量更相似的片段。
聚类算法 在聚类中衡量两个心电图片段之间距离的相似性或不相似性度量是至关重要的。在各种现有的相似性度量中欧几里得距离、余弦系数和动态时间规整距离[47]是心电图聚类中广泛使用的三个度量标准。前两者通常用于衡量以时间和形态特征或小波系数表示的心电图单元之间的相似性。动态时间规整是一种测量两个时间序列之间相似性的方法这些序列的长度可能不同。在这里我们简要介绍用于心电图聚类的传统聚类算法。最近基于深度学习的聚类算法在第 II-C 节中进行了描述。在第 II-D 节中讨论了所介绍算法在心电图分析中的优势和局限性并在表格 I 中进行了总结。
基于中心点的聚类 基于中心点的聚类技术根据心电图片段与这些组的中心点的相似性将它们分成不同的组。中心点被视为其相应组的代表性片段。K均值是最知名的基于中心点的聚类算法它将群集中心点视为该群集中心的心电图片段或其特征向量的平均值。在无监督的心电图分析中K均值的变种包括模糊C均值[48]、亲和传播[49]和最大最小聚类[50]。这些算法在获取中心点方面有所不同。例如亲和传播通过交换携带心电图片段之间相似性的消息来获取中心点。基于中心点的聚类算法通常易于实现并且计算成本低。然而它们通常不适用于处理噪声、离群值和高维特征空间。
层次聚类 层次聚类将每个心电图片段视为一个独立的群集并合并最相似的群集直到只剩下一个群集包括整个数据集。与基于中心点的聚类算法相比层次聚类算法通常具有更高的计算成本然而这些方法的独特之处在于生成的树状图它可可视化群集之间的层次关系有助于医生的解释[51]。
基于分布的聚类 这类聚类算法的目标是找出心电图片段属于各个群集的概率。高斯混合模型GMM是一种著名的基于分布的聚类算法在已审查的研究中被广泛采用[36][37]。GMM假设多个高斯分布生成心电图片段也就是说每个群集由高斯分布的均值和均值周围的标准差定义。Dirichlet过程GMM是GMM的一种变体它不需要初始的群集数量即数据空间中的高斯成分[52]。DPGMM通过变分贝叶斯推断自动学习群集数量这是一种估计群集的先验分布的迭代算法。基于分布的聚类算法适用于处理噪声和离群值但通常会产生较高的计算成本。值得注意的是DPGMM的计算成本比GMM更高。
基于密度的聚类 密度通常被定义为在一定预定义半径内的数据点数量。基于密度的聚类将群集视为数据空间中具有较高密度的区域。DBSCAN [53] 和自组织映射self-organizing mapSOM[54] 是已被用于心电图聚类的著名基于密度的聚类算法。DBSCAN 将区域视为一个群集如果其密度超过预定义的阈值。它能够有效处理噪声和离群值然而产生的群集在很大程度上取决于半径和阈值的选择。自组织映射SOM是一种神经网络类型它将输入片段映射到二维网格中假设在心电图片段之间存在特定的拓扑结构。生成的网格在高密度区域弯曲和扭曲[54]。SOM在二维网格中提供了群集的可解释性组织然而它会产生较高的计算成本。
谱聚类 谱聚类将聚类问题转化为图分割问题[55]其目标是将图分割为子图使连接子图的边的权重之和最小化。在心电图聚类中将心电图片段视为节点并将它们之间的相似性表示为连接节点的边的权重[56]。谱聚类能够有效处理高维特征空间但会产生较高的计算和空间成本[47]。
基于群体智能的聚类 群体智能模型将聚类问题视为一个优化任务其目标是最大化群集内心电图片段之间的整体相似性。例如在蚁群聚类算法中[57]一群蚂蚁随机地从一个心电图片段移动到另一个并根据它们的相似性为片段分配一个值即信息素。然后群集被识别为其相似性值超过预定义阈值的片段。粒子群优化[58]和人工蜂群[59]是其他用于心电图聚类的基于群体智能的算法[41][60][61]。基于群体智能的聚类算法在搜索最佳群集解时可以避免局部最优解具有高质量的群集。然而由于这些算法的随机性质它们通常会产生较高的计算成本尤其在大规模数据集中。
最大间隔聚类 最大间隔聚类Maximum Margin ClusteringMMC[62]利用支持向量机Support Vector MachinesSVM在未标记数据上执行聚类。具体而言它找到一组心电图片段的标签以最大化在标记片段上运行SVM获得的间隔。MMC的主要缺点是其解决非凸整数问题的计算成本较高的步骤[34]。
集成聚类 在集成聚类中来自一个或多个聚类算法的多次运行结果被整合以达到比单独聚类算法获得的数据更好的一致性群集。例如Abawajy等人[38]整合了K均值和GMM的结果用于心电图聚类而Aidos等人[63]则构建了一个包含200次K均值运行的集成每次运行使用不同的K值。
排列分布聚类 这个算法专门用于对时间序列进行聚类通过分析排列分布中的差异来找到时间序列之间的相似性。这是通过计算时间序列嵌入中不同顺序模式的频率来实现的[64]。
基于深度学习的聚类 基于深度学习的聚类算法近来受到了广泛关注并在许多任务中取得了比传统机器学习算法更优越的性能[65]。这些算法相对于传统的聚类算法的主要优势在于它们跳过了传统的特征工程步骤可以自动学习用于聚类的最佳特征集。基于深度学习的聚类方法根据其体系结构分为三类[65]1自编码器2前馈网络以及3深度生成模型。对于每一类我们介绍了在心电图聚类方面的最新进展并介绍了最先进的算法这些算法有望进一步增强心电图聚类的性能。
深度自编码器 自编码器由编码器和解码器组成编码器是一个将输入数据转换为低维特征向量的神经网络接着是解码器它是一个从这个低维特征向量中重构出原始输入的神经网络。编码器和解码器同时进行训练以最小化重构损失即原始输入与解码输出之间的差异。深度聚类网络[13]和深度嵌入网络[14]是两个基于自编码器的常见聚类算法已被用于心电图分析[66]–[68]。这些算法的背后思想是在训练网络时除了重构损失外还引入了聚类损失。在深度聚类网络中引入了K均值损失而在深度嵌入网络中引入了两个约束即保留局部性和群组稀疏性以保留数据的局部结构并对表示的关联性进行对角化。这些算法的一些应用在第 III-A 节中进一步进行了审查。
深度前馈网络 这组算法只在训练深度网络时引入了聚类损失。网络架构可以是全连接的、卷积的或者两者的组合。网络的权重可以随机初始化也可以使用在预训练网络上使用受限玻尔兹曼机进行微调[69]。深度自适应聚类Deep Adaptive ClusteringDAC[70]是一种流行的深度前馈聚类网络。它是一个单层卷积神经网络CNN采用二元成对分类方法进行训练。简而言之首先使用CNN将输入样本映射到一个独热编码向量。然后计算所有样本对之间的余弦距离。由于地面真实的相似性是未知的使用自适应学习算法即自适应潜变量学习[71]来根据估计的相似性训练CNN的权重。DAC最初是针对图像聚类提出的并在几个具有挑战性的图像数据集上取得了优越性能。通过对其CNN架构进行一些修改DAC也可以用于心电图分析作为未来可能的方向。
深度生成模型 变分自编码器Variational AutoencodersVAEs[72]和生成对抗网络Generative Adversarial NetworksGANs[15]是近年来最流行的深度生成模型。VAEs强制自编码器学习的潜在表示遵循预定义分布通常是高斯混合分布。变分深度嵌入Variational Deep EmbeddingVDE是一种基于VAE的聚类算法已被用于心电图分析[74]。这个算法可以被看作是传统的GMM聚类算法的深度学习版本其中特征空间是自动学习的。 生成对抗网络Generative Adversarial NetworksGANs旨在基于真实数据生成一组伪造数据使伪造数据的分布与真实数据相似。简而言之GAN由两个子模块组成1生成器Generator用于生成伪造数据以及2鉴别器Discriminator用于区分生成器生成的伪造数据与真实数据。在G和D中学习一组参数使生成器和鉴别器之间的极小极大博弈达到纳什均衡。 CatGAN [75] 是基于GAN的一种常见的聚类算法。它强制鉴别器将训练数据分类为预定义数量的类别而不仅仅是伪造和真实数据同时对于对生成器生成的样本分类的置信度较低。ClusterGAN是CatGAN的一个变体最近在许多其他基于深度学习的聚类算法中展现出卓越的性能在不同的聚类任务中表现出色[76]。由于这些算法尚未在心电图分析中应用它们在心电图分析中的应用可能是一个未来的研究方向。 除了聚类基于深度生成的算法还可以学习从获得的群集中生成新样本。最近一些研究采用了GAN生成新的心跳数据以解决监督式心电异常分类中持续存在的数据不平衡问题之一[18][19]。在第III-E节中我们将讨论这些方法的应用。
心电图分析中聚类算法的比较 表格I对不同的心电图聚类算法进行了比较。聚类算法处理噪声和异常值的能力在心电图聚类中是一个重要因素因为大多数公开可用的心电图数据集中存在异常值这可能会对聚类结果的结构产生不利影响。 聚类算法的时间复杂度是另一个重要因素。对于需要实时分析心电图的应用例如在重症监护室环境中尽管生成高质量的聚类可能性可能较高但计算成本较高的聚类算法可能是不可行的选择。K均值、模糊C均值和最大最小算法的计算成本较低然而它们处理异常值的能力低于计算成本更高的算法如DBSCAN、GMM、层次聚类、谱聚类和基于深度学习的聚类。在这些算法中DBSCAN的计算成本最低尽管它对其超参数的选择邻域半径和邻域中的最小点数敏感。此外DBSCAN在数据空间的固有密度不均匀的情况下不适用。 在选择有效的心电图聚类算法时寻找任意形状即非凸形状的群集和处理高维特征空间也是其他重要因素。尽管距离基础聚类算法如K均值大多能够找到凸形状的群集但心电图数据集中的群集可能呈现任意形状。基于密度和基于深度学习的聚类算法能够有效地找到非凸形状的群集但计算成本比距离基础的聚类算法更高。 心电图分析中的特征空间通常是高维的因为通常从心电图中提取了许多特征而训练心电图样本的数量通常有限。基于图的和基于深度学习的聚类算法通常会产生较高的计算成本。特别是与传统算法相比基于深度学习的算法在处理高维数据方面更为有效然而深度学习方法需要大量的数据进行训练。 除了上述考虑因素一些聚类算法还提供了用于可视化的独特功能。例如层次聚类提供了可视化聚类之间的层次关系的树状图自组织映射则提供了一个二维网格可视化数据集中的一些特定拓扑结构。关于聚类算法及其优缺点的更多信息我们建议读者参考[47]、[65]、[77]。
应用领域 迄今为止我们已将无监督的心电图分析研究按照六个应用领域进行分类如图1所示。最成熟的应用是心跳聚类它在大量心电图数据中提供了简洁而易于理解的心跳组织方式。最近和创新的研究方向旨在探索心血管系统与整个身体和心灵之间的关系。无监督的心电图分析还被用于提高监督式异常检测和基于心电图的身份验证系统的性能。 心跳聚类 心跳聚类的有效性通常在具有心脏病专家标签的心电图数据集上进行衡量。每个得到的簇预计只包含属于一个标签的心跳。分类指标如准确度和敏感性和相似度指标如Jaccard系数和归一化互信息被广泛用作成功度量标准。Jaccard系数和归一化互信息的取值范围从0到1较高的值表示已识别的簇与真实标签很好地匹配。轮廓分数是另一个广泛使用的测量标准它不需要真实的簇。轮廓分数衡量了样本相对于其他簇的相似性范围从-1到1较高的值表示样本与其簇很好地匹配且与其他簇分开。 用于评估心电图聚类方法的数据集包括MIT-BIH心律失常数据集、Physikalisch-Technische Bundesanstalt (PTB)数据集、St.-Petersburg Institute of Cardiological Technics 12-导联心律失常(CTAD)数据集、UCR心律失常数据集和BIDMC充血性心力衰竭数据集其中MIT-BIH心律失常数据集是最常用的数据集之一。 在众多研究中Lagerholm等人设计了一种有效的心跳聚类系统将以小波系数表示的QRS复合物分为25个簇并使用自组织映射获得了高准确度98.5%的结果。通过使用自组织映射他们提供了一个保留数据集内某些拓扑信息的邻域映射如2维网格最终有助于心脏病专家的解释。 大量研究集中于通过采用各种聚类和优化技术来提高心电图聚类的准确性如蚁群聚类、蜜蜂群聚类、最大间隔聚类、高斯混合模型、层次聚类、K均值、亲和传播和深度自动编码器网络。这些算法中由Balouchestani和Krishnan提出的聚类系统在MIT-BIH数据集上取得了最高的准确度99.98%。他们采用了基于K均值、压缩感知理论和K奇异值分解的方法将心跳分成正常、上心室异位、心室异位、融合和不可分类的五组。 尽管这些深度学习研究取得了令人鼓舞的结果但仍然需要更先进的聚类算法可以自动处理不平衡数据问题而无需预处理算法和专家分析。在这方面可以进一步研究基于深度生成模型的算法例如ClusterGAN它可以学习从少数簇中生成新的样本。未来的研究还应专注于在大规模公共心电图数据集上应用基于深度学习的聚类算法例如由Zheng等人收集的数据集和Wagner等人的数据集。 从临床角度来看一些研究利用符号化进行了创新的心电图聚类。他们通过使用最大-最小聚类算法对心跳进行聚类并为每个识别出的簇分配符号将心电图信号转化为符号字符串。在符号表示下他们搜索代表不规则活动的熵增子序列。他们的方法成功地检测到一个心房异位节律序列这一点被心脏病专家忽视了。类似地他们还将工作扩展到了风险分层成功地找出了在急性冠状动脉综合症治疗后的90天内虽然接受了相似治疗但死亡风险升高的患者。从临床监测心脏的角度来看12导联心电图是一种标准的临床协议通过在患者身体的10个不同位置上连接电极来记录电活动。为了从12导联心电图中获取特征通常会将从每个导联提取的特征进行串联。然而这种表示通常不能保留12个信号的相对位置。为了解决这个问题He等人使用了张量分解技术。他们将通过每个导联记录的心电图表示为其小波系数W ∈ RV ×L其中V和L分别表示导联数和小波系数数。然后通过张量化W被分解为W′ ∈ RI1×I2×I3其中I1、I2和I3分别代表记录的信号、采样时间和小波频率子带。他们使用高斯混合模型将12导联心电图的张量表示分为两个簇分别对应于正常和异常心电图。他们的系统在包含两段30分钟12导联心电图记录的CTAD数据集的子集上达到了0.93的高Jaccard系数。 心电图与心态状态 心态状态、情绪和精神障碍常常与自主神经系统ANS相关联。自主神经系统和心脏之间通过心脏的窦房结SA结进行双向交互作用[8][115][116]。窦房结也被称为心脏的起搏器产生电脉冲刺激心脏肌肉收缩和泵血[32]。近年来心电图聚类在心理生理学等领域有助于研究人员发现与不同心态状态相关的隐藏心电图模式。 这些研究中使用的数据集通常由健康个体在不同情绪状态下或患有精神障碍的患者获得的心电图ECG和阻抗心动图ICG信号组成。特征工程阶段依赖于提取出的一系列心电图和阻抗心动图特征的组合。在这里与评估所得簇的质量不同通常会执行统计假设检验例如t检验以衡量每个簇中的心电图和阻抗心动图特征与该簇个体心态状态的相关性。将不同的心态状态视为基本事实簇并通过问卷手动识别或通过对脑电图EEG信号进行聚类自动识别。因此可以使用衡量所识别的簇与基本事实标签之间相似性的指标如NMI [105]和Jaccard系数[104]以提高这些研究的可靠性。 在本节中我们回顾了在这个研究方向上的新颖研究。已评审研究的摘要详见表格III。由于已评审的研究针对不同的心理状态使用了各种私有数据集所以这些聚类技术并没有相互进行比较。然而我们会从所采用的聚类算法、特征工程和实验方案方面对现有研究进行批判性审查并提供未来的研究方向。 最近Hoemann等人[98]对从67名参与者获取的日常心电图ECG和阻抗心动图ICG信号进行了聚类以研究心肺活动与情绪细致度之间的关联。情绪细致度描述了个体准确区分情绪的能力。情绪细致度较低与精神障碍包括精神分裂症、自闭症和抑郁症等有关[98]。Hoemann等人采用了Dirichlet过程高斯混合模型来找到数据中最优的簇数。他们发现ECG和ICG可以用来识别不同水平的情绪细致度。 Leal等人[8]通过ECG聚类研究了癫痫患者的ECG时间间隔特征与癫痫前期间隔即癫痫发作前的短时间之间的关系以预测癫痫发作让患者有足够的时间准备迎接即将发作的癫痫。他们对从癫痫患者的ECG中提取的时间间隔进行了K均值、DBSCAN和高斯混合模型聚类以查看是否存在一个与其他簇明显分离的簇表示癫痫前期间隔。他们发现在41%的癫痫发作中存在这样一个簇表示癫痫发作前2至9分钟的间隔。Babaeian和Mozumdar[9]提出了一种通过聚类佩戴式设备收集的ECG来检测驾驶员困倦的系统。他们对时间间隔特征进行了基于密度的聚类发现了与清醒、瞌睡和睡眠状态相关的三个簇。 Carreiras等人[86]旨在通过ECG聚类来检测在解决具有挑战性的数学问题时个体注意力的下降。在注意力要求高的任务中如手术和驾驶检测注意力下降是重要的因为在这些任务中缺乏注意力可能会造成灾难性后果。他们的工作受到了这样一个事实的启发即通过可穿戴设备获取ECG比通过头戴设备获取EEG更加方便。他们对从24名受试者解决数学问题时获取的ECG和EEG信号进行了共识聚类其中包括多次使用不同距离度量的分层算法运行。他们的结果显示ECG数据集中发现的簇与EEG数据集中的簇之间存在强相关性表明ECG可以帮助检测不同水平的注意力。另一个发现表明ECG簇的数量大于EEG数据集中发现的簇的数量这可以为深入分析提供更准确的信息。类似地Wang等人[117]表明通过分析从驾驶员手掌获得的ECG获得的簇与通过分析EEG获得的簇之间存在强相关性。他们建议可以利用从驾驶员手掌收集的ECG而不是EEG来识别驾驶员不同水平的注意力。 ECG聚类的另一个应用是情绪检测。其目标是通过聚类自动识别不同的情绪状态如喜悦和悲伤。Wan-Hui等人[118]发现与时域特征相比ECG信号的频域特征更能够区分喜悦和悲伤。Zheng等人[95]采用模糊C均值聚类算法将ECG分为情绪压力和非情绪压力两个簇并展示了时间间隔特征在区分这两个簇中的重要作用。Medina[119]对从25名受试者解决数学问题时获取的ECG进行了集成聚类包括K均值和谱聚类。他们的系统成功地将情绪水平相似的受试者分组在一起。 在一项创新性的研究中Kupper等人[6]调查了744名年轻成年人在进行应激性活动包括解决数学问题和在两个观众面前演讲时情绪应激与心肺活动之间的关系。他们从参与者那里获取了任务前和任务中的ECG和ICG信号。通过分布式聚类他们发现了五个不同于自主平衡和静息收缩压水平的参与者群集。结果还显示吸烟、定期体育锻炼和身体质量指数BMI与这些群集无关。此外男性在执行应激任务时更有可能出现收缩压升高和心脏输出增加的群集中。 Gonzalez-Vel ´ azquez等人[120]通过聚类研究了情绪进食行为与ECG之间的关系。他们对52名年轻成年人的ECG进行了K均值聚类K2将个体分为有情绪进食行为和没有情绪进食行为两组。他们发现情绪进食行为在超重者BMI 85th百分位数中更为普遍。此外肥胖者的RR时间序列中高频成分明显更大。 受到深度学习技术的成功启发Oskooei等人[99]最近在100名消防员培训生的RR时间序列上训练了一个卷积自动编码器以识别在进行演练时处于显著压力下的群体。他们对自动编码器学到的潜在表示应用了DBSCAN并发现了两个群集其中一个较小的群集对应于表现出显著更多压力的消防员。他们进一步表明对于这个任务应用K均值无法找到处于压力下的培训生群体。 可以使用各种统计假设检验来推断ECG特征与不同心理状态之间的显著关系。大多数审查的研究使用了t检验该检验假设总体服从正态分布。然而这种假设需要进一步验证因为采集的数据集很小可能不符合这种分布。非参数检验如Friedman检验[121]和Spearman等级相关[122]可以在这个应用中进一步研究因为它们不依赖于正态性假设。 此外大多数研究中的ECG特征工程阶段仅限于RR间隔和心率。因此有一个未满足的需求即研究其他ECG特征例如PR和QT间隔以及电压和频域特征与不同心理状态之间的关系。此外所使用的聚类算法仅限于传统的K均值、层次聚类、高斯混合模型和DBSCAN。特别是尚未将基于深度学习的聚类算法用于此目的。需要更大的数据集来开发和训练可靠的深度学习算法以发现ECG与不同心理状态之间的关系。 最后正如之前提到的大多数研究将不同的心理状态如不同的情绪或不同程度的心理障碍视为基本事实的聚类。对于大多数使用的聚类算法这些聚类的数量是必需的先验知识。然而少数研究使用了不需要这种先验知识的算法如DP-GMM [52] 和DBSCAN [53]。它们获得的ECG聚类数量比基本事实所示的数量更多。聚类数量的增加通常会导致不同的ECG模式之间更好的分离但会使专家难以解释聚类结果。未来的工作需要集中在寻找最优的ECG聚类数量上。
心电图与身体状态 这一研究方向的重点在于通过聚类发现不同的临床表型包括心电图异常、血压情况、代谢指标和人口统计学等用于研究不同疾病患者之间的差异。几项研究旨在揭示具有类似心电图模式的患者亚群中的潜在机制和显著生物标志物这几乎是不可能通过视觉手段进行的。 在这些研究中使用的数据集通常包括来自不同疾病条件如糖尿病、动脉硬化、栓塞性卒中或慢性习惯如吸烟的个体的心电图和血压信号。在对心电图进行聚类之后确定每个聚类中的主导心电图模式。然后进行假设检验以确认这种模式是否与聚类所代表的疾病或疾病的严重程度水平相关联。由于在这种应用中地面实况聚类通常是未知的因此可以使用衡量簇内外相似性的指标如轮廓系数来提高这些分析的可靠性。在这里我们回顾了这一研究领域中的一些创新研究。已回顾的研究摘要见表格 IV。 Wang等人研究了心率和血压对预测脊髓损伤患者的直立性心血管失调的影响。他们对207名受试者48名对照组在平躺和被动转入坐位时获得的心电图和血压信号进行了层次聚类。具有最佳轮廓系数的聚类结果将受试者分为八组。他们发现心率、收缩压和舒张压可以有效地识别脊髓损伤人群中心血管失调的普遍情况。 Tseng等人研究了心电图、糖尿病、肥胖、高血压和吸烟习惯之间的关系。他们使用PTB数据集中268名受试者的心电图对时间间隔特征进行了K均值聚类将患者分为八组。结果显示几乎所有糖尿病患者都被分到了同一组这表明糖尿病与心电图之间存在强关联。然而吸烟、高血压和肥胖患者分布在所有簇中说明这些状况与心电图的时间间隔特征之间存在较弱的相关性。 Hernandez等人研究了心电图与身体活动能力之间的关系。他们从67名男性受试者在静息、骑车和恢复状态下获得心电图。在心电图采集期间可穿戴式身体成分分析仪记录了腹腔内脂肪的存储量。他们对时间间隔和小波提取的特征应用了层次聚类并通过分析树状图找到了一个适当分离数据空间的四簇解决方案。接下来他们应用了K均值K4发现了以下四个组1具有高体力工作能力的个体2年轻体力工作能力较低的个体3年龄较大、体力工作能力较低且腹部脂肪低至中等的个体以及4年龄较大、体力工作能力较低且腹部脂肪较高的个体。 Lattanzi等人研究了127名患有来源未明栓塞性卒中的患者的心电图异常、人口统计学、代谢指标和吸烟习惯之间的关联。由心脏病专家鉴定的心脏异常如房颤和高血压用于聚类。他们进行了层次聚类并发现了三个患者亚群1年轻男性患有卵圆孔未闭和后循环梗死2患有高血压、严重中风、左房心病、糖尿病和多种血管领域病变的患者以及3吸烟患者患有脂质代谢异常、同侧易损的颈动脉狭窄斑块和前循环领域梗死。 Hyun等人研究了心电图和血压与动脉粥样硬化疾病之间的关联。他们应用了一致性聚类方法对从989名患者获取的动态心电图和血压信号进行聚类。他们发现了16个簇其中两个簇包含了高风险动脉粥样硬化的显著比例的患者。在这两个簇中代谢指标包括糖尿病、体质指数和总胆固醇显著增高。值得注意的是年龄与所有簇都普遍相关。 Porumb等人对患有夜间低血糖症睡眠期间血糖水平降低的受试者获得的心电图进行了卷积自编码器的训练以预测血糖水平下降。他们使用t分布随机近邻嵌入方法对学习到的潜在表示进行聚类和可视化结果显示自编码器有效地将记录在低血糖水平期间的心电图与记录在正常血糖水平期间的心电图分开。他们将潜在表示作为卷积神经网络的输入并在专家提供的标签上训练网络以将心电图分类为正常和低血糖水平。他们的研究在8名经历夜间低血糖症的受试者中获得了90%的准确率。 在这一研究领域中层次聚类算法被广泛使用。该算法不需要初始簇的数量并且提供了结果簇的层次化可视化。这种可视化可以极大地帮助研究人员识别每个亚群体中的潜在机制和生物标志物。自组织映射[54]和t分布随机近邻嵌入[125]是其他众所周知的算法它们提供了一个二维和三维的地图用于可视化数据空间中的拓扑结构。由于这两个算法保留了数据的局部和全局结构它们是这一应用的合适候选算法。 此外已审阅的研究所使用的聚类算法仅限于K-means和层次聚类。由于这些研究收集的数据集显著大于公开可用的数据集如MIT-BIH应用基于深度学习的聚类算法可以进一步提高效果。 最后与研究探究心电图与心理状态之间关系的研究类似提取的心电图特征也仅限于RR间隔和心率。因此有必要研究应用其他时间域、电压域和频率域特征。
基于心电图的生物特征认证和识别 生物特征认证是根据个体的生理特征进行身份验证的过程主要包括指纹和面部。指纹和面部模式容易受到外部攻击因为它们的物理特征容易被暴露。然而基于心电图的认证系统很难被欺骗因为心脏电活动的基本生物特征是隐藏的。 基于心电图的认证系统面临的挑战之一是个体内变异性这是由于不同的个体的身体和精神状态的不同可能导致认证失败。一些研究旨在通过聚类分析提高基于心电图的认证系统对个体内变异性的稳健性。其思想是将个体的心电图或心跳划分为不同条件下的簇例如个体处于不同的精神或生理状态并使用关于簇的信息如簇的中心作为用于执行认证的监督学习方法的附加特征。大多数在这个应用中的研究使用了他们在不同情绪或压力水平下记录的心电图数据集。与其评估所得到的簇的质量不同分类指标如灵敏度、特异性和F1分数被用于评估下游的监督认证任务的性能。由于在这个应用中大多数情况下无法得知地面真实的簇可以进一步使用评价簇间和簇内相似性的指标如轮廓分数来提高这些研究的可靠性。 作为一个现代研究的例子Zhou等人 [23] 使用了高斯混合模型聚类来提高主体在压力下的认证系统的稳健性。特别地他们将主体的心电图划分为几个不同压力水平的群组。这些簇的中心结合由卷积自编码器学习的心电图的潜在表示被作为输入特征向量提供给执行认证的支持向量机。他们在23名不同压力条件下的健康受试者上测试了他们的系统并取得了平均识别率为95%和平均F1分数为0.97的结果。 与认证类似生物识别鉴定是基于个体的生物特征在先前识别的模板数据库中进行身份识别的过程。基于心电图的识别系统通常由于需要将给定的心电图与数据库中存储的所有模板心电图进行交叉匹配以找到匹配而产生高计算成本。聚类通过对模板心电图进行聚类帮助降低了此类系统的计算成本。在识别过程中只搜索与给定心电图信号最相似的簇的中心。Neehal等人 [126] 使用K-means将50000个心电图数据库中的模板划分为五个簇。在识别过程中只搜索最相似的簇他们将识别时间缩短了79.26%。在类似的方法下Sufi等人 [127] 提出了一种基于压缩心电图数据的识别系统。压缩心电图数据通常在无线心血管监测中需要使用。然而解压数百万个压缩心电图信号非常耗时。为了解决这个问题Sufi等人设计了一个基于高斯混合模型的系统直接对模板心电图数据库中的压缩心电图信号进行聚类。 这些研究采用的聚类算法主要受限于K-means和GMM。因此需要进一步研究用于心电图聚类的其他聚类算法如DBSCAN [53] 和基于深度学习的方法。针对基于心电图的鉴定系统的数据集非常小n 30需要一个更大的心电图数据集记录不同情绪或压力水平下的数据以进一步提高对个体内变异的鲁棒性。还需要研究开发能够检测心电图与其他生理信号同步性的聚类算法 [128]。
改进监督异常分类 除了知识发现聚类和基于深度学习的无监督技术也可以用于改进心电图分类系统的性能并克服挑战。在这个应用中所识别的聚类质量很少被评估。相反常常使用分类指标如敏感性、特异性和 F1 分数来评估下游的分类任务性能。然而由于已知地面实况聚类上述的分类指标以及相似性指标如 NMI 和 Jaccard 系数可以用于评估聚类阶段的性能并提高这些研究的可靠性。MIT-BIH 数据集在这个研究领域中被广泛使用。由于这个数据集相对较小未来的工作也应该着重使用更大的数据集比如由Zheng等人[112]和Wagner等人[113]收集的数据集。 在准确分类心电图异常方面的一个长期挑战是数据严重不平衡的问题因为公共心电图数据集中由心脏病专家提供的标签中绝大部分都是正常的心跳。例如在MIT-BIH数据集中超过75%的标记心跳属于正常类别而不到1%的心跳属于四个异常类别分别是室颤、结点逸搏、房性早搏和室性逸搏。这种不平衡的数据导致分类器在检测少数类别时性能较差。克服这个问题的一个众所周知的技术是欠采样其中从多数类别中随机删除样本以使训练集平衡[129]。然而这种技术可能会丢失对分类任务至关重要的相关信息。为了减少欠采样期间的信息损失Carrillo-Alarcón等人[16]使用自组织映射对MIT-BIH数据集中每个多数类别中的心跳进行了聚类。 基于深度学习的无监督技术也被用于增强异常分类系统的自动化和性能。Xu等人[131]通过使用贪婪无监督算法初始化每一层的权重来提高他们深度神经网络分类器的性能。每个隐藏层被视为受限玻尔兹曼机[69]并使用对比散度算法[132]进行优化 - 这是一种用于训练基于能量的潜在模型的众所周知的无监督算法。然后通过最小化地面实况标签与预测之间的交叉熵损失来微调整个网络。他们在MIT-BIH数据集上使用三个特定患者和一个患者独立的实验来评估他们的方法。他们的系统在MIT-BIH中的三名个体中分别达到了93.1%、94.7%和99.9%的准确率。在患者独立实验中他们的系统在看不见的患者中也表现出良好的泛化能力但准确率较低为91.8%。 患者特定的心电图分类器 - 经过训练并在给定患者的心电图上进行微调的分类器 - 在表现上已经显示出优越性相比于在通用心电图池上训练的分类器。Zahi等人[17]表明重新调整分类器以适应患者特定的正常心跳可以改善在MIT-BIH上的分类性能。尽管它们的性能更好但是患者特定的分类器具有较低的自动化水平因为它们需要手动标记部分心电信号以进行微调。为了解决这个问题Zahi等人[17]提出了一种无监督方法来自动识别正常的心电图心跳。他们基于心跳与相邻心跳的相似性对心跳进行了聚类并确定了在集群中表现出最高平均相似性的心跳为正常心跳。然后在确定的正常心跳上微调他们的深度分类器。他们的系统在检测两种异常类别即室性和室上性异位心跳时表现出色分别获得了97.4%和98.6%的高准确率。 近年来生成对抗网络GAN[15]也被用于提高患者特定分类器的自动化水平。这个想法是利用GAN中的生成器来生成新的患者特定正常心跳。Zhou等人[18]使用了经过GAN生成的正常心跳增强了MIT-BIH数据集以便更准确地训练和分类室性和室上性异位心跳从而达到了97%的总体准确率。类似地Golany等人[19]在每个患者的未标记心电数据的前几分钟上训练了一个GAN来生成正常心跳。与Zhou等人[18]使用卷积神经网络进行心律失常分类相反他们使用了长短时记忆神经网络[133]并取得了类似的良好表现。 基于深度学习的无监督特征提取技术还提高了与使用手工制作特征的分类器相比的监督分类系统的性能。例如Nurmaini等人[68]将基于CNN的深度自动编码器作为无监督特征提取技术与深度神经网络结合用于心律失常分类。他们的系统在整个MIT-BIH数据集上达到了高的F1分数0.92。 将无监督学习与监督ECG分类相结合的另一个优势是使用迁移学习[134]。其核心思想是将在大型数据集上训练的模型参数转移到另一个模型上以在较小的数据集上进行分类该数据集可能存在不准确的标签或缺失一些标签。Weimann等人[135]在Icential11K数据集[137]上训练了一个深度残差网络分类器[136]这是最大的公开可用的包含11,000名患者的ECG数据集然后在Physionet/CinC 2017数据集[138]上微调了他们的网络以用于房颤检测。Jang等人[139]在超过两百万个ECG样本上预训练了一个卷积自动编码器。然后他们在另一个包含一万份12导联ECG的数据集上微调了他们的网络以检测11种心律失常类别并实现了0.857的F1分数。
其余应用 除了讨论过的应用外ECG聚类还被用于其他一些有趣的应用中。Xia等人[24]使用ECG聚类来提高QRS检测系统的准确性。其核心思想是在ECG中相互截断的点对之间的线的绝对斜率显著高于截断任何其他点对之间的线的绝对斜率。通过K-means他们基于点对之间的绝对斜率将所有点对分成两个簇。他们发现一个簇主要包含属于QRS区域的点对。在这些点中具有最大振幅的点被确定为R峰。在MIT-BIH的八个记录中他们在R峰检测上实现了99.72%的灵敏度和99.80%的阳性预测性。在类似的思路下在最近的研究中Chen等人[25]对每对点的平均振幅以及它们的斜率应用了分层聚类将点分成两个簇R波簇和非R波簇。他们在MIT-BIH上的R峰检测中实现了99.89%的灵敏度和99.97%的阳性预测性。 Zhou等人[26]通过聚类从腹部ECG中提取胎儿QRS复合物。值得注意的是从母体腹部获得的胎儿ECG受到母体心脏活动、胎儿脑活动以及各种噪声如子宫收缩的污染。Zhou等人认为R-S峰的振幅可以作为一个独特的特征来区分母体QRS复合物与胎儿ECG的差异因为母体ECG中R和S峰的振幅显著大于胎儿ECG中的振幅。他们对ECG中相邻局部最大-最小值对应用了K-means并找到了三个簇。其中一个簇包含母体的R-S峰另一个簇包含胎儿的R-S峰最后一个簇包含非R-S峰。 Salman等人[140]试图通过将远程患者聚类成不同紧急程度的群体以减少平均等待时间。他们将模糊c均值应用于从ECG和血压信号中提取的特征并将患者分为五组。所识别的簇对应于正常、感冒、生病、紧急和高风险状态的患者。他们将每个簇视为一个队列并提出了一个算法该算法在优先考虑紧急患者的情况下最小化平均等待时间。
讨论与未来方向
基于深度学习的聚类和对比学习 尽管已经进行了有希望的ECG聚类技术研究但仍然迫切需要更先进的算法能够在处理大量数据时自动进行而无需预处理步骤和专家分析。深度学习技术相对传统机器学习方法的主要优势在于自动的特征提取和选择过程。深度学习技术在多项复杂任务中已经表现出优于传统机器学习方法的能力例如语音识别和图像分类等。然而很少有研究关注于将深度学习用于无监督的ECG分析。因此新一代的深度学习算法如深度自适应聚类[70]和ClusterGAN [76]如在第II-C节中所述有望应用于ECG聚类系统。 深度学习技术的一个缺点是其缺乏可解释性因为特征是在黑盒中提取的。随着人们对如何获得结果的兴趣与结果本身一样重要这在ECG分析中成为一个越来越重要的问题。未来的研究在这个领域应该关注于解释深度学习技术在ECG分析中的可解释性。可以研究采用类似于DeepLIFT [141]的算法。给定一个输入DeepLIFT通过从预测输出到输入的每个特征反向传播神经元的激活来为神经网络中的每个神经元分配贡献分数。 除了深度学习对于ECG聚类还可以进一步研究对比学习的应用。对比学习旨在学习一个嵌入空间在这个空间中相似的数据点彼此更接近而不需要标记的数据。它最近在解决视觉和语言处理任务时表现出优越的性能。在ECG分析中它可以用于无监督或半监督分析其中心脏病学家对数据集的一个小子集进行注释。有兴趣的读者可以参考 [142]、[143] 获取更多信息。
无监督分析佩戴式设备记录的心电图ECG数据 当心电图ECG数据在佩戴设备内进行分析时聚类方法的时间和空间复杂度必须在设备的计算能力范围内。而当ECG数据传输到远程服务器时传输通道的可靠性和延迟变得重要。因此需要高效的压缩和加密算法以实现ECG数据的最佳和安全的传输。 此外对噪声的鲁棒性也非常重要因为可穿戴设备记录的心电图ECG质量通常较低于标准临床设备。即使经过降噪处理也不能保证信号是无噪声的因为任何降噪系统的实际实现都是不完美的[148]。在这种情况下使用伪影拒绝算法非常重要。 大部分已评审的方法都是在静息状态的ECG上开发和验证的此时心率通常低于每分钟120次心跳。然而在长时间监测受试者的运动状态下心率可能会有显著的变化。因此方法对心率变化的鲁棒性也是另一个重要考虑因素。分析通过可穿戴设备记录的ECG是一个新兴的领域目前关注的研究较少还有待进一步研究。有兴趣的读者可以参考以下资料获取更多信息[144]–[147][150]–[152]。
流式心电图聚类 每天产生的心电图数据量巨大由于硬件资源有限不实际存储。此外对高风险患者进行实时监测和即时检测异常事件至关重要。因此未来的聚类系统需要处理连续到达的心电图数据即所谓的数据流。 流式心电图聚类对传统聚类系统提出了几个关键挑战。首先应该在仅一次传递中分析心电图因为存储所有到达的信号是不切实际的。其次随着新的心电图到达聚类可能会发生变化。第三必须实时识别心脏事件。值得注意的是所有在此回顾中审查的方法处理的是非流式心电图留下了可能的未来研究空间。有兴趣的读者可以参考以下资料以获取有关数据流聚类分析的更多信息[153]–[157]。
心理和生理状态下记录的心电图的公共数据库 到目前为止已经投入了大量的努力来开发代表不同心脏异常的开放式心电图数据集[1][112][113]。然而如第III-B至III-D节所述研究发现心电图与不同心理和生理状态之间的关系以及开发基于心电图的认证系统使用私有数据集。这使得方法之间的比较和复现其结果变得不可能。为了进一步发展这些创新研究领域需要一个开放式的心电图数据库其中包含在不同心理状态如压力或心理障碍和不同健康状况如糖尿病下记录的心电图。这样的数据库需要足够大并且在个体的性别和年龄方面保持平衡。
基于P波、QRS波和T波的特征工程 大多数回顾性研究并未旨在识别P波和T波以进行特征工程然而这些波的异常形态可以指示重要的心脏疾病比如心肌缺血、低钾血症或房颤等 [32]。此外R波通常被假定存在于所有记录的心跳中。然而值得注意的是在一些异常情况下如右心致病的情况下R波可能会缺失 [32]。 为了解决这些问题研究人员可以采用最先进的心电图分割系统例如Martinez等人开发的系统 [158] 和Bote等人开发的系统 [159]。这些系统能够有效地识别心电图上的P、Q、R、S和T波从而允许提取所有主要波形的时间和形态特征。
结论 在本文中我们对心电图ECG分析的无监督机器学习方法进行了全面而批判性的回顾。我们审查了传统和最新的心电图聚类算法并对它们的优势和不足进行了详细讨论。我们还广泛审查了无监督ECG分析的各种应用描述了每个应用领域的最新研究概述了它们的局限性并提出了未来的方向。 我们相信在无监督生物医学信号处理的背景下本文中审查的聚类方法将继续在未来的心电图监测中发挥重要作用。 文章转载自： http://www.morning.dpbdq.cn.gov.cn.dpbdq.cn http://www.morning.trbxt.cn.gov.cn.trbxt.cn http://www.morning.lnbcx.cn.gov.cn.lnbcx.cn http://www.morning.rjmd.cn.gov.cn.rjmd.cn http://www.morning.npbgj.cn.gov.cn.npbgj.cn http://www.morning.fjkkx.cn.gov.cn.fjkkx.cn http://www.morning.slkqd.cn.gov.cn.slkqd.cn http://www.morning.qxnns.cn.gov.cn.qxnns.cn http://www.morning.mkfr.cn.gov.cn.mkfr.cn http://www.morning.rmpfh.cn.gov.cn.rmpfh.cn http://www.morning.lhrwy.cn.gov.cn.lhrwy.cn http://www.morning.qymqh.cn.gov.cn.qymqh.cn http://www.morning.rfrnc.cn.gov.cn.rfrnc.cn http://www.morning.xnnxp.cn.gov.cn.xnnxp.cn http://www.morning.glnxd.cn.gov.cn.glnxd.cn http://www.morning.bgqr.cn.gov.cn.bgqr.cn http://www.morning.hblkq.cn.gov.cn.hblkq.cn http://www.morning.ywpwg.cn.gov.cn.ywpwg.cn http://www.morning.hsxkq.cn.gov.cn.hsxkq.cn http://www.morning.kspfq.cn.gov.cn.kspfq.cn http://www.morning.zcncb.cn.gov.cn.zcncb.cn http://www.morning.pzrpz.cn.gov.cn.pzrpz.cn http://www.morning.ztjhz.cn.gov.cn.ztjhz.cn http://www.morning.mqpdl.cn.gov.cn.mqpdl.cn http://www.morning.mltsc.cn.gov.cn.mltsc.cn http://www.morning.rksg.cn.gov.cn.rksg.cn http://www.morning.rgpsq.cn.gov.cn.rgpsq.cn http://www.morning.twwts.com.gov.cn.twwts.com http://www.morning.neletea.com.gov.cn.neletea.com http://www.morning.qzsmz.cn.gov.cn.qzsmz.cn http://www.morning.bqdgr.cn.gov.cn.bqdgr.cn http://www.morning.bfcrp.cn.gov.cn.bfcrp.cn http://www.morning.wtnwf.cn.gov.cn.wtnwf.cn http://www.morning.qwbht.cn.gov.cn.qwbht.cn http://www.morning.pkwwq.cn.gov.cn.pkwwq.cn http://www.morning.dzqyn.cn.gov.cn.dzqyn.cn http://www.morning.lsgsn.cn.gov.cn.lsgsn.cn http://www.morning.i-bins.com.gov.cn.i-bins.com http://www.morning.qcnk.cn.gov.cn.qcnk.cn http://www.morning.ysnbq.cn.gov.cn.ysnbq.cn http://www.morning.fthqc.cn.gov.cn.fthqc.cn http://www.morning.pkdng.cn.gov.cn.pkdng.cn http://www.morning.rui931.cn.gov.cn.rui931.cn http://www.morning.xqxrm.cn.gov.cn.xqxrm.cn http://www.morning.cwqpl.cn.gov.cn.cwqpl.cn http://www.morning.kcyxs.cn.gov.cn.kcyxs.cn http://www.morning.dwztj.cn.gov.cn.dwztj.cn http://www.morning.rsfp.cn.gov.cn.rsfp.cn http://www.morning.yntsr.cn.gov.cn.yntsr.cn http://www.morning.stfdh.cn.gov.cn.stfdh.cn http://www.morning.pkfpl.cn.gov.cn.pkfpl.cn http://www.morning.fqcdh.cn.gov.cn.fqcdh.cn http://www.morning.qineryuyin.com.gov.cn.qineryuyin.com http://www.morning.nrmyj.cn.gov.cn.nrmyj.cn http://www.morning.nkjkh.cn.gov.cn.nkjkh.cn http://www.morning.rydhq.cn.gov.cn.rydhq.cn http://www.morning.kwxr.cn.gov.cn.kwxr.cn http://www.morning.tsqpd.cn.gov.cn.tsqpd.cn http://www.morning.gqbks.cn.gov.cn.gqbks.cn http://www.morning.llqch.cn.gov.cn.llqch.cn http://www.morning.rxnr.cn.gov.cn.rxnr.cn http://www.morning.tgtsg.cn.gov.cn.tgtsg.cn http://www.morning.mrfbp.cn.gov.cn.mrfbp.cn http://www.morning.qbpqw.cn.gov.cn.qbpqw.cn http://www.morning.rnpt.cn.gov.cn.rnpt.cn http://www.morning.brbnc.cn.gov.cn.brbnc.cn http://www.morning.ykwqz.cn.gov.cn.ykwqz.cn http://www.morning.tldfp.cn.gov.cn.tldfp.cn http://www.morning.rglzy.cn.gov.cn.rglzy.cn http://www.morning.hkcjx.cn.gov.cn.hkcjx.cn http://www.morning.inheatherskitchen.com.gov.cn.inheatherskitchen.com http://www.morning.yesidu.com.gov.cn.yesidu.com http://www.morning.qrndh.cn.gov.cn.qrndh.cn http://www.morning.fgsct.cn.gov.cn.fgsct.cn http://www.morning.dwtdn.cn.gov.cn.dwtdn.cn http://www.morning.rbjp.cn.gov.cn.rbjp.cn http://www.morning.jpjpb.cn.gov.cn.jpjpb.cn http://www.morning.ptxwg.cn.gov.cn.ptxwg.cn http://www.morning.wqwbj.cn.gov.cn.wqwbj.cn http://www.morning.bfgpn.cn.gov.cn.bfgpn.cn
