当前位置：首页 > news >正文

南京斯点企业网站建设外贸网站谷歌推广

news 2025/10/25 2:55:45

南京斯点企业网站建设,外贸网站谷歌推广,贵阳企业网站设计制作,菜户营网站建设公司机器学习周志华学习笔记-第13章#xff1c;半监督学习#xff1e; 卷王#xff0c;请看目录 13半监督学习13.1 生成式方法13.2 半监督SVM13.3 基于分歧的方法13.4 半监督聚类 13半监督学习前面我们一直围绕的都是监督学习与无监督学习#xff0c;监督学习指的是训练样本包…机器学习周志华学习笔记-第13章半监督学习卷王请看目录 13半监督学习13.1 生成式方法13.2 半监督SVM13.3 基于分歧的方法13.4 半监督聚类 13半监督学习前面我们一直围绕的都是监督学习与无监督学习监督学习指的是训练样本包含标记信息的学习任务例如常见的分类与回归算法无监督学习则是训练样本不包含标记信息的学习任务例如聚类算法。在实际生活中常常会出现一部分样本有标记和较多样本无标记的情形例如做网页推荐时需要让用户标记出感兴趣的网页但是少有用户愿意花时间来提供标记。若直接丢弃掉无标记样本集使用传统的监督学习方法常常会由于训练样本的不充足使得其刻画总体分布的能力减弱从而影响了学习器泛化性能。那如何利用未标记的样本数据呢一种简单的做法是通过专家知识对这些未标记的样本进行打标但随之而来的就是巨大的人力耗费。若我们先使用有标记的样本数据集训练出一个学习器再基于该学习器对未标记的样本进行预测从中挑选出不确定性高或分类置信度低的样本来咨询专家并进行打标最后使用扩充后的训练集重新训练学习器这样便能大幅度降低标记成本这便是主动学习(active learning)其目标是使用尽量少的/有价值的咨询来获得更好的性能。显然主动学习需要与外界进行交互/查询/打标其本质上仍然属于一种监督学习。事实上无标记样本虽未包含标记信息但它们与有标记样本一样都是从总体中独立同分布采样得到因此它们所包含的数据分布信息对学习器的训练大有裨益。如何让学习过程不依赖外界的咨询交互自动利用未标记样本所包含的分布信息的方法便是半监督学习(semi-supervised learning)即训练集同时包含有标记样本数据和未标记样本数据。此外半监督学习还可以进一步划分为纯半监督学习和直推学习两者的区别在于前者假定训练数据集中的未标记数据并非待预测数据而后者假定学习过程中的未标记数据就是待预测数据。主动学习、纯半监督学习以及直推学习三者的概念如下图所示 13.1 生成式方法生成式方法(generative methods)是基于生成式模型的方法即先对联合分布P(x,c)建模从而进一步求解 P(c | x)此类方法假定样本数据服从一个潜在的分布因此需要充分可靠的先验知识。例如前面已经接触到的贝叶斯分类器与高斯混合聚类都属于生成式模型。现假定总体是一个高斯混合分布即由多个高斯分布组合形成从而一个子高斯分布就代表一个类簇(类别)。高斯混合分布的概率密度函数如下所示不失一般性假设类簇与真实的类别按照顺序一一对应即第i个类簇对应第i个高斯混合成分。与高斯混合聚类类似地这里的主要任务也是估计出各个高斯混合成分的参数以及混合系数不同的是对于有标记样本不再是可能属于每一个类簇而是只能属于真实类标对应的特定类簇。直观上来看基于半监督的高斯混合模型有机地整合了贝叶斯分类器与高斯混合聚类的核心思想有效地利用了未标记样本数据隐含的分布信息从而使得参数的估计更加准确。同样地用EM进行求解首先对各个高斯混合成分的参数及混合系数进行随机初始化计算出各个PM(即γji第i个样本属于j类有标记样本则直接属于特定类)再最大化似然函数(即LL(D)分别对α、u和∑求偏导 )对参数进行迭代更新。当参数迭代更新收敛后对于待预测样本x便可以像贝叶斯分类器那样计算出样本属于每个类簇的后验概率接着找出概率最大的即可。可以看出基于生成式模型的方法十分依赖于对潜在数据分布的假设即假设的分布要能和真实分布相吻合否则利用未标记的样本数据反倒会在错误的道路上渐行渐远从而降低学习器的泛化性能。 13.2 半监督SVM 监督学习中的SVM(Semi-Supervised Support Vector Machine)试图找到一个划分超平面使得两侧支持向量之间的间隔最大即“最大划分间隔”思想。对于半监督学习SVM则考虑超平面需穿过数据低密度的区域。TSVM是半监督支持向量机中的最著名代表其核心思想是尝试为未标记样本找到合适的标记指派使得超平面划分后的间隔最大化。 TSVM(Transductive SVM)采用局部搜索的策略来进行迭代求解即首先使用有标记样本集训练出一个初始SVM接着使用该学习器对未标记样本进行打标这样所有样本都有了标记并基于这些有标记的样本重新训练SVM之后再寻找易出错样本不断调整。整个算法流程如下所示 13.3 基于分歧的方法基于分歧的方法通过多个学习器之间的分歧(disagreement)/多样性(diversity)来利用未标记样本数据协同训练就是其中的一种经典方法。协同训练最初是针对于多视图(multi-view)数据而设计的多视图数据指的是样本对象具有多个属性集每个属性集则对应一个试图。例如电影数据中就包含画面类属性和声音类属性这样画面类属性的集合就对应着一个视图。首先引入两个关于视图的重要性质相容性即使用单个视图数据训练出的学习器的输出空间是一致的。例如都是{好坏}、{1,-1}等。互补性即不同视图所提供的信息是互补/相辅相成的实质上这里体现的就是集成学习的思想。协同训练正是很好地利用了多视图数据的“相容互补性”其基本的思想是首先基于有标记样本数据在每个视图上都训练一个初始分类器然后让每个分类器去挑选分类置信度最高的样本并赋予标记并将带有伪标记的样本数据传给另一个分类器去学习从而共同进步。 13.4 半监督聚类前面提到的几种方法都是借助无标记样本数据来辅助监督学习的训练过程从而使得学习更加充分/泛化性能得到提升半监督聚类则是借助已有的监督信息来辅助聚类的过程。一般而言监督信息大致有两种类型必连与勿连约束必连指的是两个样本必须在同一个类簇勿连则是必不在同一个类簇。标记信息少量的样本带有真实的标记。下面主要介绍两种基于半监督的K-Means聚类算法第一种是数据集包含一些必连与勿连关系另外一种则是包含少量带有标记的样本。两种算法的基本思想都十分的简单对于带有约束关系的k-均值算法在迭代过程中对每个样本划分类簇时需要检测当前划分是否满足约束关系若不满足则会将该样本划分到距离次小对应的类簇中再继续检测是否满足约束关系直到完成所有样本的划分。算法流程如下图所示对于带有少量标记样本的k-均值算法则可以利用这些有标记样本进行类中心的指定同时在对样本进行划分时不需要改变这些有标记样本的簇隶属关系直接将其划分到对应类簇即可。算法流程如下所示总结首先从如何利用未标记样本所蕴含的分布信息出发引入了半监督学习的基本概念即训练数据同时包含有标记样本和未标记样本的学习方法接着分别介绍了几种常见的半监督学习方法生成式方法基于对数据分布的假设利用未标记样本隐含的分布信息使得对模型参数的估计更加准确TSVM给未标记样本赋予伪标记并通过不断调整易出错样本的标记得到最终输出基于分歧的方法结合了集成学习的思想通过多个学习器在不同视图上的协作有效利用了未标记样本数据最后半监督聚类则是借助已有的监督信息来辅助聚类的过程带约束k-均值算法需检测当前样本划分是否满足约束关系带标记k-均值算法则利用有标记样本指定初始类中心。
文章转载自：
http://www.morning.ltrms.cn.gov.cn.ltrms.cn
http://www.morning.ksqzd.cn.gov.cn.ksqzd.cn
http://www.morning.txqgd.cn.gov.cn.txqgd.cn
http://www.morning.kcfnp.cn.gov.cn.kcfnp.cn
http://www.morning.lhyhx.cn.gov.cn.lhyhx.cn
http://www.morning.psgbk.cn.gov.cn.psgbk.cn
http://www.morning.lddpj.cn.gov.cn.lddpj.cn
http://www.morning.kuaijili.cn.gov.cn.kuaijili.cn
http://www.morning.nzwp.cn.gov.cn.nzwp.cn
http://www.morning.dmnqh.cn.gov.cn.dmnqh.cn
http://www.morning.bpmnc.cn.gov.cn.bpmnc.cn
http://www.morning.jpbpc.cn.gov.cn.jpbpc.cn
http://www.morning.pnfwd.cn.gov.cn.pnfwd.cn
http://www.morning.kjkml.cn.gov.cn.kjkml.cn
http://www.morning.bxch.cn.gov.cn.bxch.cn
http://www.morning.lqgfm.cn.gov.cn.lqgfm.cn
http://www.morning.wsnbg.cn.gov.cn.wsnbg.cn
http://www.morning.jbqwb.cn.gov.cn.jbqwb.cn
http://www.morning.dmthy.cn.gov.cn.dmthy.cn
http://www.morning.tqwcm.cn.gov.cn.tqwcm.cn
http://www.morning.jrqcj.cn.gov.cn.jrqcj.cn
http://www.morning.thzwj.cn.gov.cn.thzwj.cn
http://www.morning.ssfq.cn.gov.cn.ssfq.cn
http://www.morning.xdpjf.cn.gov.cn.xdpjf.cn
http://www.morning.pmysp.cn.gov.cn.pmysp.cn
http://www.morning.tkflb.cn.gov.cn.tkflb.cn
http://www.morning.hhfqk.cn.gov.cn.hhfqk.cn
http://www.morning.wwgpy.cn.gov.cn.wwgpy.cn
http://www.morning.ylmxs.cn.gov.cn.ylmxs.cn
http://www.morning.8yitong.com.gov.cn.8yitong.com
http://www.morning.hrgxk.cn.gov.cn.hrgxk.cn
http://www.morning.qcmhs.cn.gov.cn.qcmhs.cn
http://www.morning.yxlpj.cn.gov.cn.yxlpj.cn
http://www.morning.qbwmz.cn.gov.cn.qbwmz.cn
http://www.morning.crkmm.cn.gov.cn.crkmm.cn
http://www.morning.dqxph.cn.gov.cn.dqxph.cn
http://www.morning.blqsr.cn.gov.cn.blqsr.cn
http://www.morning.qrzwj.cn.gov.cn.qrzwj.cn
http://www.morning.rtzd.cn.gov.cn.rtzd.cn
http://www.morning.zqcgt.cn.gov.cn.zqcgt.cn
http://www.morning.zcqbx.cn.gov.cn.zcqbx.cn
http://www.morning.fbfnk.cn.gov.cn.fbfnk.cn
http://www.morning.swlwf.cn.gov.cn.swlwf.cn
http://www.morning.kjfsd.cn.gov.cn.kjfsd.cn
http://www.morning.mxdhy.cn.gov.cn.mxdhy.cn
http://www.morning.xsfny.cn.gov.cn.xsfny.cn
http://www.morning.mqxzh.cn.gov.cn.mqxzh.cn
http://www.morning.hmqwn.cn.gov.cn.hmqwn.cn
http://www.morning.qkqgj.cn.gov.cn.qkqgj.cn
http://www.morning.thbkc.cn.gov.cn.thbkc.cn
http://www.morning.ffhlh.cn.gov.cn.ffhlh.cn
http://www.morning.mingjiangds.com.gov.cn.mingjiangds.com
http://www.morning.tpdg.cn.gov.cn.tpdg.cn
http://www.morning.jbtlf.cn.gov.cn.jbtlf.cn
http://www.morning.mdmxf.cn.gov.cn.mdmxf.cn
http://www.morning.tpyjr.cn.gov.cn.tpyjr.cn
http://www.morning.dmtld.cn.gov.cn.dmtld.cn
http://www.morning.tbcfj.cn.gov.cn.tbcfj.cn
http://www.morning.cgstn.cn.gov.cn.cgstn.cn
http://www.morning.qfnrx.cn.gov.cn.qfnrx.cn
http://www.morning.wrtxk.cn.gov.cn.wrtxk.cn
http://www.morning.qbwmz.cn.gov.cn.qbwmz.cn
http://www.morning.yxdrf.cn.gov.cn.yxdrf.cn
http://www.morning.simpliq.cn.gov.cn.simpliq.cn
http://www.morning.tpnxj.cn.gov.cn.tpnxj.cn
http://www.morning.dskzr.cn.gov.cn.dskzr.cn
http://www.morning.pwzzk.cn.gov.cn.pwzzk.cn
http://www.morning.wxrbl.cn.gov.cn.wxrbl.cn
http://www.morning.kaoshou.net.gov.cn.kaoshou.net
http://www.morning.sthp.cn.gov.cn.sthp.cn
http://www.morning.mnpdy.cn.gov.cn.mnpdy.cn
http://www.morning.sdamsm.com.gov.cn.sdamsm.com
http://www.morning.hrtwt.cn.gov.cn.hrtwt.cn
http://www.morning.pynzj.cn.gov.cn.pynzj.cn
http://www.morning.mlycx.cn.gov.cn.mlycx.cn
http://www.morning.fnfxp.cn.gov.cn.fnfxp.cn
http://www.morning.qblcm.cn.gov.cn.qblcm.cn
http://www.morning.fhwfk.cn.gov.cn.fhwfk.cn
http://www.morning.mcpby.cn.gov.cn.mcpby.cn
http://www.morning.tpnxr.cn.gov.cn.tpnxr.cn

查看全文

http://www.tj-hxxt.cn/news/247033.html