盐城建设公司网站,自动采集更新网站源码,wordpress php 5.3.x,手机ui设计文章目录 一、监督学习1.1、单模型1.1.1、线性回归1.1.2、逻辑回归#xff08;Logistic Regression#xff09;1.1.3、K近邻算法#xff08;KNN#xff09;1.1.4、决策树1.1.5、支持向量机#xff08;SVM#xff09;1.1.6、朴素贝叶斯 1.2、集成学习1.2.1、Boosting1Logistic Regression1.1.3、K近邻算法KNN1.1.4、决策树1.1.5、支持向量机SVM1.1.6、朴素贝叶斯 1.2、集成学习1.2.1、Boosting1Regression Decision Tree回归树2Boosting Decision Tree提升树算法3GBDTGradient Boosting Decision Tree梯度提升决策树 4XGBoost1.2.2、Bagging — 随机森林1.2.3、Stacking 二、无监督学习2.1、聚类算法2.1.1、K-means聚类2.1.2、分层聚类2.1.3、DBSCAN 2.2、降维特征工程2.2.1、PCA主成分分析2.2.2、SVD奇异值分解2.2.3、LDA线性判别分析 机器学习按照是否有监督我们可以做一个简单的划分即分为监督学习和无监督学习两大类只做了最简单的划分 一、监督学习
监督学习是可以利用有标签的数据进行训练因此训练数据一定会有n个样本X和对应的n个标签GT通过设计不同的机器学习模型输出出与GT同维度的预测结果Y监督学习在此有两种划分方式1单模型和多模型两类2解决分类问题和回归问题两类。下面就按照这两种划分来对监督学习的基本模型进行介绍。 分类问题标签和预测结果都是离散的即就是固定的几种类别 回归问题标签和预测结果的分布都是连续的可能会预测一系列的实数。例如Faster RCNN和YOLO等模型的bbox分支预测的四个值就是回归问题 1.1、单模型
1.1.1、线性回归
线性回归属于监督学习、回归问题。那么只要建立模型通过损失函数优化模型即可进行预测。模型因变量预测值为一个或多个自变量输入样本的特征数的线性组合 可以分为一元线性回归一个变量和多元线性回归多个变量 损失函数损失函数就是在估计ground truth和预测值之间的差别记住这个就行。我们定义 y i y_i yi为第i个训练样本的ground truth h w ( x i ) h_w (x_i) hw(xi)为预测值则损失函数为 通过更新/求解W以最小化上面这个误差平方和就称为最小二乘法。有两种方法 1正规方程但是当特征过于复杂时求解很慢 2梯度下降法以一元线性回归为例a为学习率面对训练数据规模十分庞大的任务也能较好适用 sklearn的实现 1sklearn.linear_model.LinearRegression正规方程 2sklean.linear_model.SGDRegression梯度下降 对于线性回归的正则化方法岭回归Ridge Regression和Lasso回归。主要用于解决过拟合问题又称为数据的共线性问题即自变量之间存在多重共线性或者自变量/特征个数多于样本量 1岭回归就是在原来的误差平方和/均方误差后面加一个正则化项即参数w的L2范数的平方作为惩罚项。会得到稠密解 2Lasso回归原来的误差平方和/均方误差后面加一个正则化项即参数w的L1范数作为惩罚项。会得到稀疏解 sklearn的实现 1岭回归sklearn.linear_model.Ridge 2Lasso回归sklearn.linear_model.Lasso 1.1.2、逻辑回归Logistic Regression
逻辑回归非常简单就是通过在线性回归预测结果的基础上使用激活函数sigmoid转换为0-1之间的概率从而实现二分类。 损失函数实际上为交叉熵损失函数通过更新/求解W以最小化损失函数即可优化模型。 该损失函数源自于对数函数可以满足当预测值概率值与ground truth接近时损失函数为0 y 1时 y 0时 sklearn的实现 sklearn.lnear_model.LogisticRegression 1.1.3、K近邻算法KNN
基本思想在已知样本和对应的类别下给定一个未知样本计算该样本与所有已知样本之间的距离/相似度选择前K个与其距离最近的已知样本这K个样本中的多数类别就是未知样本的类别优缺点 优点简单易于实现不需要训练 缺点K值选择十分重要过小或者过大都容易导致过拟合或者欠拟合 sklearn的实现 sklearn.neighbors.KNeighborsClassifier 1.1.4、决策树
算法原理简单来说就是利用了二叉树(if—else语句)的思想内部节点表示特征/属性叶子节点表示一个类别。那么从根节点开始不断根据特征进行划分直到叶子节点即可实现分类。因此决策树实际上表示的是给定特征条件下类别的条件概率分布。需要注意的是决策树既可以实现分类问题也可以实现回归问题。构建决策树通常包含3个步骤1特征选择最重要的主要衡量的指标为信息增益、信息增益比2决策树生成都是从根节点开始根据不同的准则依次选择最优特征3决策树剪枝常用的两种决策树生成方法有ID3和C4.5算法分别采用了信息增益和信息增益比作为特征选择的准则 定义训练集为DN为训练样本个数有K个类别 c k c_k ck每种类别的样本数为 ∣ C k ∣ |C_k| ∣Ck∣那么就可以先求得数据集D本身的信息熵。 对于特征A可能有很多个特征通过计算信息增益(比)来确定最优特征它的取值为n个不同的值 { a 1 , a 2 , . . . a n a_1, a_2,... a_n a1,a2,...an} 按照每种取值对数据D划分得到的子数据集的样本数为 N i N_i Ni而每个子数据集中的K个类别对应的样本数为 N i k N_{ik} Nik 1于是信息熵为 2条件熵对于特征A划分的每个子集计算它的信息熵最后再加权求和 3 信息增益信息熵 - 条件熵衡量的就是数据集不确定性减少的程度信息熵是未划分之前数据集的不确定性程度条件熵是划分后数据集的不确定性程度因此信息增益越大越好 4信息增益的缺点存在偏向于选取值较多的特征的问题。 极限条件下特征A将每个样本都划分为一个子集时条件熵为0信息增益为最大但这个特征A不一定为最优特征 5信息增益比 CART树(Classification And Regression Tree)是可以实现分类和回归的其中CART分类树采用的是基尼系数最小化的策略CART回归树采用了误差平方和最小化策略。 基尼系数 G i n i ( D ) ∑ k 1 K ∣ K ∣ N ( 1 − ∣ K ∣ N ) Gini(D) \sum_{k 1}^{K} {\frac{|K|}{N}(1 - \frac{|K|}{N} ) } Gini(D)∑k1KN∣K∣(1−N∣K∣) 假如对于特征A将数据集划分为 D 1 D_1 D1和 D 2 D_2 D2两个子集则基尼系数为 1.1.5、支持向量机SVM
SVM基于统计学习理论中的结构风险最小化原则通过在特征空间中寻找一个最优超平面将不同类别的样本分开并尽量使得不同类别之间的间隔最大化。 1分隔超平面在二维空间中分隔超平面是一条直线可以将两个类别的样本点正确地划分到两侧。在三维空间中分隔超平面是一个平面可以将样本点分开。而在更高维的特征空间中分隔超平面是一个超平面。 2最大间隔在支持向量机中分隔超平面还要满足最大化间隔的原则。也就是说它应该尽可能地远离两个类别的样本点使得两个类别的支持向量到分隔超平面的距离最大化。 3支持向量离分隔超平面最近的样本点称为支持向量 对于线性可分的情况SVM可以直接找到一个分隔超平面。求解过程需要采用凸优化问题的解法拉格朗日乘子法KKT条件需要转化为对偶问题暂时略此外SVM通过引入松弛变量和软间隔允许存在一定的分类错误。对于线性不可分的情况通过使用核函数可以将低维特征映射到高维特征空间从而实现线性不可分情况下的分类。常用的核函数有线性核Linear Kernel、多项式核Polynomial Kernel和高斯核RBF Kernel等。
1.1.6、朴素贝叶斯
朴素贝叶斯是一种生成式方法基本思想是基于训练数据中的特征和标签之间的概率关系通过计算后验概率来进行分类预测。首先要了解贝叶斯公式P(A|B) 表示在观察到事件 B 发生的情况下事件 A 发生的概率P(B|A) 表示在事件 A 发生的情况下事件 B 发生的概率P(A) 表示事件 A 发生的先验概率P(B) 表示事件 B 发生的先验概率 朴素贝叶斯公式是在贝叶斯公式的基础上引入了朴素假设假设特征之间相互独立。根据朴素贝叶斯公式可以计算在给定一组特征的条件下某个类别的后验概率。朴素贝叶斯公式如下 其中P(y|x1, x2, …, xn) 表示在给定特征 x1, x2, …, xn 的条件下类别 y 的后验概率P(x1|y), P(x2|y), …, P(xn|y) 表示在类别 y 的条件下特征 x1, x2, …, xn 出现的概率P(y) 表示类别 y 的先验概率P(x1, x2, …, xn) 表示特征 x1, x2, …, xn 的联合概率。计算步骤如下 1数据预处理首先对输入数据进行预处理包括特征选择、特征缩放、处理缺失值等操作。 2计算类别的先验概率根据训练数据计算每个类别出现的先验概率。先验概率可以通过简单地计算每个类别在训练数据中的样本数量与总样本数量的比例得到。 3计算特征的条件概率对于每个特征计算在给定类别下的条件概率。这需要计算每个特征在每个类别下的频率或概率。 4应用贝叶斯定理根据贝叶斯定理利用先验概率和条件概率计算后验概率即在给定特征条件下每个类别的概率。 4预测分类结果对于新的未知样本根据计算得到的后验概率选择具有最高概率的类别作为预测结果。 1.2、集成学习
集成学习是一种将不同学习模型的结果组合起来通过投票或平均来进一步提高准确率。一般对于分类问题用投票对于回归问题用平均。这样的做法源于“众人拾材火焰高”的想法。集成算法主要有三类BaggingBoosting 和Stacking。Bagging和Boosting的所有所有的个体学习器都是一个种类的或者说是同质的。 比如都是决策树个体学习器或者都是神经网络个体学习器。Stacking所有的个体学习器不全是一个种类的或者说是异质的。 比如我们有一个分类问题对训练集采用支持向量机个体学习器逻辑回归个体学习器和朴素贝叶斯个体学习器来学习再通过某种结合策略来确定最终的分类强学习器。 Bagging首先对数据集采用Bootstrap采样有放回得到T个子数据集再训练出T个弱学习器最后集成到一起分类问题吗投票回归问题求均值。相当于是并行机制 Boosting首先在训练数据集上训练出一个弱学习器T1根据T1在每个样本上的误差率更新样本权重误差高的权重就大然后基于更新后的权重重新训练弱学习器T2迭代进行直到到达学习器指定数目T最终将弱学习器集合到一起。相当于串行机制。 Stacking首先先训练多个不同的模型然后把之前训练的各个模型的输出为输入来训练一个模型以得到一个最终的输出。 1.2.1、Boosting 根据组合弱学习器/基学习器的不同方式可以分为三种AdaBoost、GBDT和XGBoost AdaboostAdaptive boosting为每个弱学习器分配一个权重最后根据权重对T个弱学习器进行加权 GBDTGradient Boosting Decision Tree是一种基于梯度提升框架的集成学习算法它是Boosting提升树算法的一种实现方式。GBDT在每一轮迭代中不是直接拟合残差而是拟合损失函数的负梯度。 XGBoost使GBDT工程上的优化实现。 1Regression Decision Tree回归树
回归树总体构建流程类似于分类树区别在于回归树中根据特征进行划分后每一个节点都会得到一个预测值该预测值为按特征划分后所有训练样本的平均值或加权平均值。特征划分所确定的阈值的衡量标准为误差平方和或均方误差选择可以使得误差平方和最小的特征作为最优特征直到每个叶子节点上的样本一致或达到预设的终止条件指定的叶子节点个数时决策树构建完成。例如下面根据给定的不同特征预测年龄
2Boosting Decision Tree提升树算法
提升树就是根据Boosting的集成学习思想迭代多个回归树得到来构建一个强大的集成模型——提升树。构建的流程大致如下 1初始化初始化第一个回归树 2迭代训练对于每次迭代按照以下步骤进行训练 a. 计算前一模型的残差真实值与当前预测值的差异。 b. 使用回归树来拟合残差拟合过程就是回归树的特征选择过程选择使误差平方和最小的特征。其叶子节点的取值为该叶子节点上所有样本的残差的均值。 c. 更新当前模型的预测值将之前的预测值与新增加的回归树的预测值进行累加。 3得到最终模型迭代训练直到达到预设的迭代次数或满足停止条件。最终的预测结果为所有回归树的预测值之和。 例如训练一个提升树模型来预测年龄训练集是4个样本ABCD年龄分别是14162426。样本中有购物金额、上网时长、经常到百度知道提问等特征。提升树的过程如下
3GBDTGradient Boosting Decision Tree梯度提升决策树
GBDT使用的决策树是CART回归树也就是1中介绍的2介绍的是一般情况的提升树GBDTGradient Boosting Decision Tree是一种基于梯度提升框架的集成学习算法与传统的提升树算法不同GBDT在每一轮迭代中不是直接拟合残差而是拟合损失函数的负梯度。构建流程如下 1初始化将训练数据的目标值作为初始预测值。 2迭代训练对于每次迭代按照以下步骤进行训练 a. 计算当前模型的残差和负梯度。 b. 使用回归树来拟合负梯度。每个回归树的训练目标是最小化损失函数的负梯度。 c. 更新当前模型的预测值将之前的预测值与新增加的回归树的预测值进行累加。 3得到最终模型迭代训练直到达到预设的迭代次数或满足停止条件。最终的预测结果为所有回归树的预测值之和。 4XGBoost
XGBoostExtreme Gradient Boosting是GBDTGradient Boosting Decision Tree的一个工程上的优化实现。XGBoost在GBDT的基础上引入了一些创新的技术如正则化、并行化和缺失值处理等以提高模型的性能和训练效率。XGBoost主要做了下面几个改进 1正则化XGBoost使用正则化项来限制模型的复杂度包括L1正则化L1 regularization和L2正则化L2 regularization。通过正则化可以防止过拟合并提高模型的泛化能力。 2随机采样类似随机森林的策略。在每次迭代中XGBoost通过随机选择一部分特征进行训练这样可以减少训练时间并提高模型的鲁棒性。 3XGBoost可以自动处理缺失值在构建决策树时会将缺失值分配到左侧或右侧子节点中从而无需对缺失值进行额外处理。 4XGBoost支持多种类型的基学习器而GBDT只有CART回归树作为基分类器 1.2.2、Bagging — 随机森林 随机森林就是Bagging的基学习器为决策树。随机森林很多个决策树并行放在一起数据采样随机特征选择随机都是有放回的随机选取。
1.2.3、Stacking 参考链接https://blog.csdn.net/xiao_yi_xiao/article/details/124040296
二、无监督学习
无监督学习的训练样本是没有标签的数据设计相应的模型学习它的分布。
2.1、聚类算法
聚类算法就是将无标签的样本划分为不同的簇clusters同一簇内的样本具有相似的特征。
2.1.1、K-means聚类
顾名思义K-means聚类就是选取K个点作为聚类中心并不断取均值更新聚类中心具体过程如下 1随机设定K个初始聚类中心不一定为训练样本的点 2对于训练集中所有的点计算每个点到K个聚类中心的距离选择最近的那个聚类中心对应的簇将其分配过去 3全部遍历和计算完毕后对于K个聚类中心对应的簇通过求均值的方法重新确定新的聚类中心 4重复上述过程直到到达指定的迭代次数或者误差值 sklearn的实现 sklearn.cluster.KMeans() 2.1.2、分层聚类
分层聚类输出的是层次结构类似树结构一样每一层都有不同类别这种结构比平面聚类更具信息性。算法步骤 1初始化把每个样本各自归为一类每个样本自成一类 2计算每两个类之间的距离也就是样本之间的相似度本质还是计算类与类之间的距离寻找各个类之间最近的两个类把它们归为一类这样总类的数量就减少了一个 3重新计算新生成的这个类与各个旧类之间的距离相似度 4重复上述步骤直到所有的样本都聚为一类 其中最重要的就是如何判断/计算两个类之间距离/相似度 1SingleLinkage又叫做nearest-neighbor就是取两个类中最近的两个样本之间的距离作为两个集合的距离即最近的两个样本之间的距离越小 这两个类之间相似度越大容易造成一种叫做Chaining的效果两个类明明从“大局”上离的比较远但由于其中个别点距离比较近就被合并了。这种合并之后Chaining效应会进一步扩大最后得到比较松散的聚类cluster。 2Complete Linkage完全是SingleLinkage的反面极端取两个集合距离最远的两个点的距离作为两个集合的距离其效果也刚好相反限制非常大。 两个聚类cluster即使已经很接近了但是只要有不配合的带你存在就顽固到底老死不相合并也是不太好的办法这两种相似度定义方法共同问题就是只考虑了某个特有的数据而没有考虑类数据整体的特点。 3Average Linkage这种方法就是把两个集合中的点两两距离全部放在一起求平均值相应的能得到一点合适的结果。 4Average Linkage的一个变种就是取两两距离的中值与取平均值相比更加能够解除个别偏离样本对结果的干扰 参考链接https://blog.csdn.net/u011808596/article/details/80978927
2.1.3、DBSCAN
DBSCAN是一种密度聚类算法全称为Density-Based Spatial Clustering of Applications with Noise。它通过将样本点分为核心点、边界点和噪音点来进行聚类。DBSCAN的工作原理是基于密度的而不是基于距离的。它通过定义半径ε内的邻域来度量样本点的密度并根据邻域内的点数量来判断某个点是否为核心点、边界点或噪音点。具体来说 1核心点如果一个点的半径ε内至少有MinPts个样本点那么这个点就是一个核心点。 2边界点如果一个点的半径ε内的样本点数量小于MinPts即不属于核心店但位于另一个核心点的邻域内但它位于其他核心点的半径ε邻域内那么这个点就是一个边界点。 3噪音点既不是核心点也不是边界点的点被认为是噪音点。 4种点的关系密度直达密度可达密度相连非密度相连 1密度直达如果P为核心点Q在P的R邻域内那么称P到Q密度直达。任何核心点到其自身密度直达密度直达不具有对称性如果P到Q密度直达那么Q到P不一定密度直达。 2密度可达如果存在核心点P2P3……Pn且P1到P2密度直达P2到P3密度直达……P(n-1)到Pn密度直达Pn到Q密度直达则P1到Q密度可达。密度可达也不具有对称性。 3密度相连如果存在核心点S使得S到P和Q都密度可达则P和Q密度相连。密度相连具有对称性如果P和Q密度相连那么Q和P也一定密度相连。密度相连的两个点属于同一个聚类簇。 4非密度相连如果两个点不属于密度相连关系则两个点非密度相连。非密度相连的两个点属于不同的聚类簇或者其中存在噪声点。 算法步骤 输入数据集邻域半径 Eps邻域中数据对象数目阈值 MinPts; 输出密度联通簇。 处理流程如下。 1从数据集中任意选取一个数据对象点 p 2如果对于参数 Eps 和 MinPts所选取的数据对象点 p 为核心点则找出所有从 p 密度可达的数据对象点形成一个簇 3如果选取的数据对象点 p 是边缘点选取另一个数据对象点 4重复2、3步直到所有点被处理。 参考链接https://blog.csdn.net/hansome_hong/article/details/107596543
2.2、降维特征工程
2.2.1、PCA主成分分析
PCAPrincipal Component Analysis 是一种常见的数据分析方式常用于高维数据的降维可用于提取数据的主要特征分量。 第2步相当于对特征的每个维度的分布进行了归一化协方差矩阵一定是特征维度 × \times ×特征维度求解特征向量Av λv其中λ为该特征向量对应的特征值。
2.2.2、SVD奇异值分解
2.2.3、LDA线性判别分析
LDA的目标是通过线性投影将高维数据映射到低维空间并在此过程中最大化类间距离同时最小化类内距离以实现特征提取和分类的目的。下面是LDA的基本步骤 输入包含n个样本和m个特征的训练数据集。 1标记预处理对每个样本进行标记确保每个样本都属于一个已知类别。 2计算类别均值向量对于每个类别计算其所有样本的均值向量表示该类别在高维特征空间中的中心位置。 3计算类内散度矩阵计算每个类别内部样本与其均值向量之间的散度矩阵用于衡量类内的离散程度。 4计算类间散度矩阵计算所有类别的均值向量之间的散度矩阵用于衡量类间的差异程度。 5计算广义特征值问题解决广义特征值问题即求解广义瑞利商的最大特征值和对应的特征向量。 6选择投影向量选择前k个最大特征值对应的特征向量作为投影向量其中k是降维后的目标维度。 7降维和分类将原始数据投影到所选投影向量所组成的低维空间中并使用分类方法对新的低维数据进行分类。
文章转载自： http://www.morning.tkxr.cn.gov.cn.tkxr.cn http://www.morning.yhplt.cn.gov.cn.yhplt.cn http://www.morning.svtxeu.com.gov.cn.svtxeu.com http://www.morning.fmtfj.cn.gov.cn.fmtfj.cn http://www.morning.lxlzm.cn.gov.cn.lxlzm.cn http://www.morning.rtbj.cn.gov.cn.rtbj.cn http://www.morning.wnqfz.cn.gov.cn.wnqfz.cn http://www.morning.mmynk.cn.gov.cn.mmynk.cn http://www.morning.gnwse.com.gov.cn.gnwse.com http://www.morning.divocn.com.gov.cn.divocn.com http://www.morning.jrbyz.cn.gov.cn.jrbyz.cn http://www.morning.srtw.cn.gov.cn.srtw.cn http://www.morning.mrtdq.cn.gov.cn.mrtdq.cn http://www.morning.touziyou.cn.gov.cn.touziyou.cn http://www.morning.rnht.cn.gov.cn.rnht.cn http://www.morning.lsmgl.cn.gov.cn.lsmgl.cn http://www.morning.bswhr.cn.gov.cn.bswhr.cn http://www.morning.clkjn.cn.gov.cn.clkjn.cn http://www.morning.gediba.com.gov.cn.gediba.com http://www.morning.bkkgt.cn.gov.cn.bkkgt.cn http://www.morning.hxwrs.cn.gov.cn.hxwrs.cn http://www.morning.lcqrf.cn.gov.cn.lcqrf.cn http://www.morning.srbl.cn.gov.cn.srbl.cn http://www.morning.lhzqn.cn.gov.cn.lhzqn.cn http://www.morning.xcfmh.cn.gov.cn.xcfmh.cn http://www.morning.wpsfc.cn.gov.cn.wpsfc.cn http://www.morning.fslrx.cn.gov.cn.fslrx.cn http://www.morning.qbfkz.cn.gov.cn.qbfkz.cn http://www.morning.nqypf.cn.gov.cn.nqypf.cn http://www.morning.ylzdx.cn.gov.cn.ylzdx.cn http://www.morning.qzsmz.cn.gov.cn.qzsmz.cn http://www.morning.pdmml.cn.gov.cn.pdmml.cn http://www.morning.xwbwm.cn.gov.cn.xwbwm.cn http://www.morning.zpstm.cn.gov.cn.zpstm.cn http://www.morning.yfrlk.cn.gov.cn.yfrlk.cn http://www.morning.xnfg.cn.gov.cn.xnfg.cn http://www.morning.ypxyl.cn.gov.cn.ypxyl.cn http://www.morning.lbpqk.cn.gov.cn.lbpqk.cn http://www.morning.hghhy.cn.gov.cn.hghhy.cn http://www.morning.lsfzq.cn.gov.cn.lsfzq.cn http://www.morning.pqwrg.cn.gov.cn.pqwrg.cn http://www.morning.lbpqk.cn.gov.cn.lbpqk.cn http://www.morning.wgxtz.cn.gov.cn.wgxtz.cn http://www.morning.tgnwt.cn.gov.cn.tgnwt.cn http://www.morning.nsyzm.cn.gov.cn.nsyzm.cn http://www.morning.xjwtq.cn.gov.cn.xjwtq.cn http://www.morning.tjkth.cn.gov.cn.tjkth.cn http://www.morning.rtqyy.cn.gov.cn.rtqyy.cn http://www.morning.bwmm.cn.gov.cn.bwmm.cn http://www.morning.nzxdz.cn.gov.cn.nzxdz.cn http://www.morning.zlkps.cn.gov.cn.zlkps.cn http://www.morning.dnls.cn.gov.cn.dnls.cn http://www.morning.wfhnz.cn.gov.cn.wfhnz.cn http://www.morning.wgrl.cn.gov.cn.wgrl.cn http://www.morning.smnxr.cn.gov.cn.smnxr.cn http://www.morning.bhqlj.cn.gov.cn.bhqlj.cn http://www.morning.bwjgb.cn.gov.cn.bwjgb.cn http://www.morning.frzdt.cn.gov.cn.frzdt.cn http://www.morning.nbqwt.cn.gov.cn.nbqwt.cn http://www.morning.tturfsoc.com.gov.cn.tturfsoc.com http://www.morning.sltfk.cn.gov.cn.sltfk.cn http://www.morning.lpppg.cn.gov.cn.lpppg.cn http://www.morning.kwdfn.cn.gov.cn.kwdfn.cn http://www.morning.sgnxl.cn.gov.cn.sgnxl.cn http://www.morning.c7625.cn.gov.cn.c7625.cn http://www.morning.mspqw.cn.gov.cn.mspqw.cn http://www.morning.ccyns.cn.gov.cn.ccyns.cn http://www.morning.fqtzn.cn.gov.cn.fqtzn.cn http://www.morning.nyhtf.cn.gov.cn.nyhtf.cn http://www.morning.ddqdl.cn.gov.cn.ddqdl.cn http://www.morning.dfmjm.cn.gov.cn.dfmjm.cn http://www.morning.nrxsl.cn.gov.cn.nrxsl.cn http://www.morning.wsgyq.cn.gov.cn.wsgyq.cn http://www.morning.cnbdn.cn.gov.cn.cnbdn.cn http://www.morning.chkfp.cn.gov.cn.chkfp.cn http://www.morning.xqwq.cn.gov.cn.xqwq.cn http://www.morning.pqnpd.cn.gov.cn.pqnpd.cn http://www.morning.nxzsd.cn.gov.cn.nxzsd.cn http://www.morning.pmjw.cn.gov.cn.pmjw.cn http://www.morning.kngx.cn.gov.cn.kngx.cn
