网站获得流量最好的方法是什么 ( ),成都模板建站代理,国内十大云服务器商排名,制作网站链接文章目录 day07概率图模型朴素贝叶斯#xff08;Naive Bayes#xff09;贝叶斯网络#xff08;Bayesian Network#xff09;一般图模型生成式和判别式模型图模型结构与模型推理 集成学习Boosting算法Stacking算法 day07
今天是第七天#xff0c;昨日主要针对是第三章节中… 文章目录 day07概率图模型朴素贝叶斯Naive Bayes贝叶斯网络Bayesian Network一般图模型生成式和判别式模型图模型结构与模型推理 集成学习Boosting算法Stacking算法 day07
今天是第七天昨日主要针对是第三章节中的决策树算法、支持向量机、隐马尔可夫模型进行阐述介绍了算法的优化点以及核心参数今天阐述第9小节概率图模型与贝叶斯方法、第10小节集成学习
概率图模型
概率图模型简称图模型是一种用图结构来描述多元随机变量之间条件独立关系的概率模型。概率图模型简单可以分为如下示例 图模型分成两种有向图 和 无向图。 有向图模型Directed Graphical Models 特点关系有方向比如“谁影响谁”或者“谁依赖谁”。例子你准备考试学习好不好可以被下面的因素影响 节点1你的学习时间直接影响节点2你的睡眠质量影响学习时间节点3你的考试成绩依赖学习时间这些关系之间有方向比如“睡眠质量 → 学习时间 → 考试成绩”。这种有方向的依赖关系就属于有向图模型像贝叶斯网络就是这样的模型。 进一步扩展动态贝叶斯网络DBN:这就像看电视连续剧每一集都会影响下一集的情节。隐马尔可夫模型HMM你每天心情的变化是“隐藏的”别人看不到但你每天的表现比如脸色好不好是可以观察到的。大家通过观察你的表现推测你的心情这就是HMM的原理。 无向图模型Undirected Graphical Models 特点关系没有方向强调“谁和谁之间有关联”但不会说谁影响谁。例子假设有个微信群里几个人聊天 小明和小红聊得很多小红和小李也聊得很频繁。这种“谁和谁关系好”就是一种无向的关系因为大家只是互相联系没有明确的影响方向。这种关系用无向图表示就属于马尔可夫网络。 吉布斯随机场想象一张床上放着很多沙包每个沙包的重量会影响周围沙包的平衡。这种影响关系就是一种无向关系。条件随机场CRF比如看一段话判断每个词的词性。每个词的判断依赖于它周围的词但没有明确的方向性。
朴素贝叶斯Naive Bayes
基本概念 朴素贝叶斯是一种简单的概率分类方法它基于贝叶斯定理假设特征之间是“独立”的。也就是说在做出分类决策时朴素贝叶斯认为每个特征对于分类的贡献是相互独立的尽管现实中这些特征可能是有关系的。通俗解释 假设你要判断一封邮件是否是垃圾邮件垃圾邮件或正常邮件是分类目标。你可以根据邮件中的特征如是否包含“优惠”、“免费”等关键词来进行判断。朴素贝叶斯做出的假设是每一个特征比如是否含有“优惠”这个词对是否是垃圾邮件的影响是独立的。虽然实际情况可能是这些词语是相互关联的但朴素贝叶斯忽略了这些关联直接将每个词的影响单独计算再加起来得出结论。**现实例子**每天根据天气、气温、湿度等因素判断是否带伞。朴素贝叶斯会假设天气、气温、湿度等因素之间的影响是独立的即使在现实中这些因素可能有联系。
贝叶斯网络Bayesian Network
基本概念 贝叶斯网络是一种图形化的模型它通过有向图来表示变量之间的条件依赖关系。每个节点代表一个随机变量边表示变量之间的依赖关系。它利用贝叶斯定理进行推理计算某些变量的条件概率。通俗解释 贝叶斯网络可以看作是对复杂系统中变量之间关系的“图示化”。假设你有一张图节点表示不同的因素比如天气、交通状况、出行计划等。箭头指示了这些因素之间的因果关系。通过贝叶斯网络你可以根据已知的某些信息比如今天下雨了来推断其他未知的信息比如是否会堵车。**现实例子**在计划外出时天气下雨或不下雨会影响你是否需要带伞而交通状况可能又会受到天气的影响。贝叶斯网络通过图形化的方式帮助你推理给出最合理的决策。
一般图模型
一般图模型是概率图模型的一个更为广泛的概念它包括不同类型的图结构和推理方法主要包括以下几种 PGM 是一种用图结构表示随机变量和它们之间条件依赖关系的模型贝叶斯网络和马尔可夫网络MRF都是PGM的特殊形式。PGM 用图来表达复杂系统的依赖关系利用概率进行推理。 通俗解释 想象一个大企业的管理结构图每个员工代表一个随机变量边表示员工之间的依赖关系例如经理与下属的关系。通过PGM你可以通过已知的某些信息比如某个经理的决策推断其他未知的信息如员工的表现。 马尔可夫随机场是一种无向图模型主要用于描述变量之间的相互依赖关系。在MRF中图中的节点代表随机变量而边表示这些变量之间的直接依赖关系。- 通俗解释 MRF 通常用于处理“局部依赖”的情况即每个变量的状态只依赖于它相邻的变量。例如在图像处理任务中每个像素的颜色可能与其相邻像素的颜色相关MRF可以用来建模这种局部依赖关系。**现实例子**在图像分割任务中MRF 可以用来建模像素的标签比如前景或背景的依赖关系假设相邻像素的标签更可能相同。 条件随机场是MRF的一种变体主要用于有标签的序列数据的标注问题如文本标注、语音识别等。CRF通过条件概率模型来建模变量之间的依赖关系特别强调在给定输入数据条件下输出的依赖性。 通俗解释 CRF主要用来处理序列问题像是在做自然语言处理时识别一个句子中的每个词的词性标签名词、动词等。在CRF模型中给定了输入句子的上下文信息每个词的标签依赖于它周围词的标签。**现实例子**在命名实体识别NER任务中CRF用于从句子中识别出人物、地点等实体。假设“李华”是一个人名CRF会通过上下文推断出“李华”可能是人名而不是其他实体。
生成式和判别式模型
假设你有一组图片目标是将图片分类为“猫”或“狗”。 生成模型如朴素贝叶斯会试图描述**“猫”和“狗”**是如何生成这些图片的特征的例如猫的耳朵和狗的尾巴的特征它建模的是图像的联合分布 P(猫,图像)P(猫, 图像)P(猫,图像) 和 P(狗,图像)P(狗, 图像)P(狗,图像)并且可以通过贝叶斯公式推断每张图片属于“猫”还是“狗”。 判别模型如逻辑回归会直接关注给定一张图片如何预测它是猫还是狗。它只关心 P(猫∣图像)P(猫 | 图像)P(猫∣图像) 和 P(狗∣图像)P(狗 | 图像)P(狗∣图像)即在已知图像特征的条件下如何区分标签。 生成模型关注 联合分布 P(A,B)P(A, B)P(A,B)试图模拟数据和标签的共同生成过程。 判别模型关注 条件分布 P(A∣B)P(A | B)P(A∣B)直接根据输入预测输出标签。
图模型结构与模型推理
图模型结构指的是概率图模型中变量如何通过边连接起来表示它们之间的依赖关系。不同的图结构如有向图、无向图适合不同类型的任务。
模型推理是通过已知的信息来推断未知的信息。在概率图模型中推理通常是通过计算条件概率分布来实现的。具体的推理方法可以包括
边际推理计算某些变量的边际概率即忽略其他变量。条件推理计算某些变量在给定其他变量条件下的概率。最大后验推理MAP推理给定某些观测值推断最有可能的隐变量值。
通俗解释 图模型结构就像是你在生活中做决策时如何把不同的因素和它们之间的依赖关系通过图表表示出来。模型推理则是利用这些图表计算出你需要的信息比如你知道一些条件下其他变量的可能性或者你想通过已知条件推测其他未知的信息。
集成学习
构建多个学习器来完成任务主要有以下三类Bagging、Boosting、Stacking
方法思想具体步骤代表算法优点缺点Bagging通过将多个模型训练在不同的随机子集上降低方差减少过拟合。从训练数据中有放回地抽取多个子集使用不同子集训练多个相同的模型对模型预测结果进行平均回归或投票分类。随机森林Random Forest减少模型方差降低过拟合风险对噪声有鲁棒性。训练时间较长消耗计算资源需要多个独立的模型进行训练。Boosting逐步训练模型每次着重关注前一个模型的错误减少偏差。训练初始弱模型增加前一模型错误样本的权重训练下一个模型迭代训练最终加权所有模型的预测。AdaBoost, Gradient Boosting, XGBoost显著提高准确性特别适合弱模型可以减少偏差提高整体性能。对噪声和异常值敏感训练时间长计算复杂。Stacking将不同类型的模型组合通过一个元模型进一步学习如何合并预测结果。训练多个不同类型的基础模型将基础模型的预测结果作为新特征输入元模型使用元模型做最终预测。常见组合逻辑回归决策树神经网络等灵活结合不同类型的模型提升性能能够发挥不同模型的优势提升准确性。需要大量计算资源训练时间长需要调优和选择合适的模型组合。 Boosting算法
可分为AdaBoost和Gradient Boosting两类
算法关键特点优点缺点提升与优化AdaBoost使用弱学习器如决策树桩每个模型集中改进前一个模型的错误。简单易理解效果直观能提高弱模型的性能。对噪声和异常值敏感训练速度慢可能容易过拟合。主要是通过加权错分类样本来提高性能但不适应复杂数据和高维数据。GBM基于梯度提升的思想逐步优化每一棵树来减少模型的误差。适合各种回归和分类任务对于复杂数据能较好地捕捉非线性关系。训练时间长计算开销大对参数选择敏感。引入梯度下降优化和树的增量学习但计算效率较低处理大规模数据时可能不够快。GBDT基于GBM使用决策树作为基础模型通过梯度提升减少误差。精度高广泛应用于各类任务能处理复杂的非线性关系。训练速度慢计算开销大容易发生过拟合调参难度大。引入了更加精细的优化策略如剪枝和更好的树结构但计算效率相对较低。XGBoost基于GBDT的优化版本采用正则化、剪枝、并行计算等技术提升效率。计算速度快支持并行计算更强的正则化能力避免过拟合对稀疏数据支持较好。参数较多需要精细调优对异常值比较敏感。在GBDT基础上加入了正则化、剪枝、并行计算等提升了训练速度和模型的泛化能力。LightGBM采用基于直方图的决策树算法支持类别特征速度快能处理大规模数据。训练速度极快适用于大规模数据内存使用少支持类别特征处理。调参复杂可能容易过拟合对小数据集效果不一定好。使用直方图算法减少了训练时间支持类别特征提高了大规模数据集的处理能力优化了内存使用。
Stacking算法
1、训练阶段的数据划分方法在 Stacking 的训练阶段我们首先需要训练多个基础模型然后用这些模型的预测结果来训练一个元模型。为了避免训练过程中的数据泄露通常会采取以下两种数据划分方式把数据分成多个小部分让每个基础模型在不同的子集上训练确保它们的预测没有泄露训练数据。
K折交叉验证K-Fold Cross Validation 我们把所有的训练数据分成 K 份通常是 5 或 10。例如如果 K5我们会把数据分成 5 份每一份轮流作为验证集其余 4 份作为训练集。在训练每个基础模型时我们用 K-1 份数据训练它用剩下的 1 份数据来评估它的表现。这样每一份数据都能作为验证集确保基础模型的预测是公平的。每个基础模型训练好后它会在验证集上做预测这些预测结果会作为新的特征传递给 元模型第二层模型进行训练。 Out-of-Bag 数据OOB 数据 这种方法通常是在 Bagging例如随机森林中使用。在训练过程中每次训练时模型只使用部分数据剩余的没有被选中的数据叫 OOB 数据这些数据可以用来评估模型的效果。在 Stacking 中OOB 数据可以用于生成每个基础模型的预测结果避免过度拟合。类似于“每次都留下一些数据不参与训练用这些数据来帮助模型改进”。
2、评分阶段的模型行为在 评分阶段我们用训练好的模型来对新的数据进行预测。这个过程的步骤如下就像是我们把每个模型的预测结果拿出来交给另一个“总的模型”去做最终的决策来得到最终的预测结果
基础模型预测我们先用训练好的 基础模型第一层模型来对新的数据进行预测。每个基础模型会给出它自己的预测结果。比如一个模型预测的是一个数值回归问题另一个模型预测的是一个类别标签分类问题。元模型预测然后我们将这些基础模型的预测结果作为新的输入数据新特征传递给 元模型第二层模型。元模型会学习如何从这些基础模型的预测结果中选出最合适的预测最终给出最终结果。 如果是回归问题元模型给出一个数值预测。如果是分类问题元模型给出一个类别标签或者类别的概率。
