网站用哪个数据库,网站开发环境搭建,广东东莞十大特产,微信公众平台运营中心电话目录
机器学习
过拟合与欠拟合
正则化与交叉验证
正则化
交叉验证 机器学习
的目的是使学到的模型不仅对已知数据而且对未知数据都能有很好的预测能力。
不同的机器学习方法会给出不同的模型。当损失函数给定时#xff0c;基于损失函数的模型的训练误差#xff08;tra…目录
机器学习
过拟合与欠拟合
正则化与交叉验证
正则化
交叉验证 机器学习
的目的是使学到的模型不仅对已知数据而且对未知数据都能有很好的预测能力。
不同的机器学习方法会给出不同的模型。当损失函数给定时基于损失函数的模型的训练误差training error和模型的测试误差test error就自然成为学习方法评估的标准。
注意机器学习方法具体采用的损失函数未必是评估时使用的损失函数。当然让两者一致是比较理想的。 训练误差的大小对判断给定的问题是不是一个容易学习的问题是有意义的但是本质上不重要。测试误差反应了学习方法对未知的测试数据集的预测能力。
显然给定两种学习方法测试误差小的方法具有更好的预测能力是更有效的方法。通常讲学习方法对未知数据的预测能力称为泛化能力generalization ability。
过拟合与欠拟合
对于机器学习和深度学习模型而言我们不仅希望它能很好的拟合训练数据集同时也希望它可以对未知数据集测试集有很好的拟合效果泛化能力。机器学习的泛化能力generalization ability是指由该方法学习到的模型对未知数据的预测能力是学习方法本质上重要的性质。现实中采用最多的办法是用过测试误差来评价学习方法的泛化能力。
度量泛化能力的好坏就涉及到所谓的模型的欠拟合underfitting和过拟合overfitting。
过拟合指的是在训练数据集上表现良好而在未知数据上表现差。欠拟合指的是模型没有很好地学习到数据特征不能够很好地拟合数据在训练数据和未知数据上表现都很差。 欠拟合、正常拟合和过拟合
下图描述了训练误差和测试误差与模型的复杂度之间的关系。当模型的复杂度增大时训练误差会逐渐减小并趋近于0而测试误差会先减小达到最小值后有增大。当选择的模型复杂度过大时过拟合现象就会发生。
因此在学习时就要防止过拟合进行最优的模型选择即选择复杂度适当的模型以达到使测试误差最小的学习目的。 训练误差和测试误差与模型的复杂度之间的关系
过拟合的原因在于 参数太多模型复杂度过高 建模样本选取有误导致选取的样本数据不足以代表预定的分类规则 样本噪音干扰过大使得机器将部分噪音认为是特征从而扰乱了预设的分类规则 假设的模型无法合理存在或者说是假设成立的条件实际并不成立。
欠拟合的原因在于 特征量过少 模型复杂度过低。
怎么解决过拟合 获取和使用更多的数据数据集增强——解决过拟合的根本性方法 特征降维人工选择保留特征的方法对特征进行降维 加入正则化控制模型的复杂度 Dropoutdropout(随机失活):dropout是通过遍历神经网络每一层的节点然后通过对该层的神经网络设置一个keep_prob(节点保留概率)即该层的节点有keep_prob的概率被保留keep_prob的取值范围在0到1之间。通过设置神经网络该层节点的保留概率使得神经网络不会去偏向于某一个节点(因为该节点有可能被删除)从而使得每一个节点的权重不会过大有点类似于L2正则化来减轻神经网络的过拟合。 Early stopping 交叉验证。
怎么解决欠拟合 增加新特征可以考虑加入进特征组合、高次特征来增大假设空间 添加多项式特征这个在机器学习算法里面用的很普遍例如将线性模型通过添加二次项或者三次项使模型泛化能力更强 减少正则化参数正则化的目的是用来防止过拟合的但是模型出现了欠拟合则需要减少正则化参数 使用非线性模型比如核SVM 、决策树、深度学习等模型 调整模型的容量(capacity)通俗地模型的容量是指其拟合各种函数的能力 容量低的模型可能很难拟合训练集。
正则化与交叉验证
正则化
模型选择的典型方法是正则化regularization。正则化是结构风险最小化策略的实现是在经验风险上加一个正则化项regularizer或惩罚项penalty term。正则化项一般是模型复杂度的单调递增函数模型越复杂正则化值就越大。比如正则化项可以是模型参数向量的范数。
正则化一般具有如下形式 其中第1项是经验风险第2项是正则化项 为调整两者之间关系的系数。 第1项的经验风险较小的模型可能较复杂有多个非零参数这时第2项的模型复杂度会较大。正则化的作用是选择经验风险与模型复杂度同时较小的模型。 从贝叶斯估计的角度来看正则化项对应于 模型的先验概率。
可以假设复杂的模型有较小的先验概率简单的模型有较大的先验概率
交叉验证
另一种常用的模型选择方法是交叉验证cross validation。
如果给定的样本数据充足进行模型选择的一种简单方式是随机地将数据集切分成三部分分别为训练集training set、验证集validation set和测试集test set。训练集用来训练模型验证集用于模型的选择测试集用于最终对学习方法的评估。在学习到的不同复杂度的模型中选择对验证集有最小预测误差的模型。由于验证集有足够多的数据用它对模型进行选择也是有效的。
但是在许多实际应用中数据是不充足的。为了选择好模型可以采用交叉验证方法。交叉验证的基本想法是重复地使用数据把给定的数据进行切分讲切分的数据集组合为训练集与测试集在此基数上反复地进行训练、测试以及模型选择。 简单交叉验证
简单交叉验证方法是首先随机地将已给数据分为两部分一部分作为训练集另一部分作为测试集例如70%的数据为训练集30%的数据为测试集然后用训练集在各种条件下例如不同参数个数训练模型从而得到不同的模型在测试集上评价各个模型的测试误差选出测试误差最小的模型。 S折交叉验证
应用最多的是S折交叉验证S-fold cross validation方法如下首先随机地将已给数据切分为S个互不相交、大小相同的子集然后利用S-1个子集的数据训练模型利用余下的子集测试模型将这一过程可能的S种选择重复进行最后选出S次测评中平均测试误差最小的模型。 留一交叉验证
S折交叉验证的特殊情形是SN成为留一交叉验证leave-one-out cross validationLOOCV往往在数据缺乏的情况下使用。这里N是给定数据集的容量。
