怎么给网站刷流量,wordpress编辑器自动加p标签,微信引流推广平台,永久免费建站空间机器学习任务可以分为两类: 一类是样本的特征向量 #x1d499; 和标签 #x1d466; 之间存在未知的函数关系#x1d466; h(#x1d499;)#xff0c;另一类是条件概率#x1d45d;(#x1d466;|#x1d499;)服从某个未知分布。最小二乘法是属于第一类#xff0c…机器学习任务可以分为两类: 一类是样本的特征向量 和标签 之间存在未知的函数关系 h()另一类是条件概率(|)服从某个未知分布。最小二乘法是属于第一类直接建模 和标签 之间的函数关系。此外线性回归还可以从建模条件概率 (|) 的角度来进行参数估计。
一、最大似然估计的概念
在统计学和机器学习中最大似然估计Maximum Likelihood Estimation简称 MLE是一种用于估计模型参数的方法其核心思想是在给定观测数据的情况下选择使得数据出现概率最大的模型参数。
在线性回归中最大似然估计MLE通过假设目标变量服从正态分布将参数估计问题转化为最大化数据出现的概率。
最大似然估计是一种参数估计方法其核心思想是选择参数使得观测数据出现的概率最大。也就是说在给定数据的情况下找到最有可能生成这些数据的参数值。这需要先假设数据服从某种概率分布然后构建似然函数最后通过优化方法找到使似然函数最大化的参数。
二、模型假设 - 构建对数似然函数
这里我们回顾一下高斯分布为 假设目标变量 y 与特征 x 的关系为 在线性回归模型中假设我们有一组观测数据 其中 x_i 是输入特征y_i 是对应的输出。 在这种假设下y_i 也服从均值为 w^Tx_i、方差为 σ2 的正态分布。
因此单个观测值 y_i 的概率密度函数为 由于观测值之间相互独立整个数据集的似然函数是各个观测值概率密度函数的乘积
这里用到的对数函数的性质由乘积转换为求和 更具体的形式为 三、对参数求导并求解
1.对数似然函数关于 w 求偏导数 2.令上述偏导数等于零得到 3.求解最优参数 w 将上述方程整理为矩阵形式 其中X 是包含所有自变量的设计矩阵y 是包含所有因变量的向量。
解得最优参数 w 可以看出最大似然估计的解和最小二乘法的解相同.
通过上述步骤可以使用最大似然估计方法求解线性回归模型的最优参数 w。
需要注意的是以上推导假设误差项 ϵ 服从正态分布这使得似然函数具有上述形式。 在实际应用中虽然误差项不一定严格服从正态分布但在样本量足够大的情况下参数估计的性质仍然良好。
四、第三步中方程整理为矩阵形式的推导
定义设计矩阵 X 为 定义因变量向量 y 为 定义参数向量 w 为 则偏导数的矩阵形式为 五、关于指数函数exp的说明
在线性回归模型中指数函数exp通常用于逻辑回归等模型中以确保模型输出符合概率的要求。
在逻辑回归中模型的输出是一个概率值表示某个事件发生的可能性。
为了将线性组合的结果如 w^Tx转换为概率值使用了sigmoid函数其形式为 通过应用指数函数sigmoid函数将线性输出转换为0到1之间的概率值。
这使得模型的输出符合概率分布的性质且增强了大值之间的相对差异从而使得更大可能性的类别在概率上更具优势。
需要注意的是线性回归模型本身并不直接使用指数函数。
在逻辑回归等模型中指数函数的使用是为了确保模型输出符合概率的要求。
在最大似然估计的过程中使用对数似然函数来简化计算。
通过对数变换将乘积转化为求和从而使得优化过程更加方便。
这也是为什么在一些机器学习算法中会看到对某项加上exp的原因。
一方面exp函数确保每个因子是正的另一方面通过对数变换累乘关系转化为累加关系优化过程变得更加简便。
