教做家常菜的网站,有成功案例的网站,做外贸网站商城,游戏开发需要多少钱?需求: 想要找到一条直线#xff0c;能更好的拟合这一些点 如何确定上述直线就是最优解呢#xff1f; 由计算机算出所有点与我们拟合直线的误差#xff0c;常见的是均方误差
例如#xff1a;P1与直线之间的误差为e1 将P1坐标带入直线并求误差得#xff1a; 推广到所有点能更好的拟合这一些点 如何确定上述直线就是最优解呢 由计算机算出所有点与我们拟合直线的误差常见的是均方误差
例如P1与直线之间的误差为e1 将P1坐标带入直线并求误差得 推广到所有点 整合 由于xi, yi都为已知点那么它们就是常数
化简 这个误差函数就称为代价函数其中a, b, c为常数w为直线得斜率
目标
找到一个斜率w能使这条直线能更好得拟合上述所有点反应出来的实质就是e最小
简而言之就是找到一个最优解w0使e最小 对于最优解w0当w w0时w位置所对应导数也称斜率或梯度大于零w w0时导数小于零
所以为了更好的迭代出最优解得出以下迭代公式 等高线大致可以这样理解 学习率过大过小都不行,太大了下降过快太小了太慢 为什么不直接用 w -b/2*a求解 要拟合这些点直线就得是y k * x b这可有两个变量
按照上述理论求代价函数为了防止与常数向量表示重复我用x k y b
最后得到 其中a,b,c,d,e,f均为常数
那么此方程就一个三维的了x -b/2a也不顶用了
求解过程
使用梯度下降优化 k 和 b 的基本步骤1.初始化 k 和 b 的值。2.定义损失函数常见的选择是均方误差Mean Squared Error损失函数。
它可以表示为 loss (1/N) * sum( (y - (kx b))^2 )其中 N 是点的数量y 是真实的 y 值x 是对应的 x 值。3.计算损失函数关于 k 和 b 的梯度。这可以通过计算损失函数对 k 和 b 的偏导数来实现。4.使用梯度下降算法更新 k 和 b。梯度下降的更新规则为 k k - learning_rate * gradient_kb b - learning_rate * gradient_b其中 learning_rate 是学习率
gradient_k 和 gradient_b 是损失函数关于 k 和 b 的梯度。重复步骤 3 和 4直到达到停止条件例如达到一定的迭代次数或损失函数的变化小于某个阈值。计算机会不断得通过这个梯度下降的过程找到最优解x, y这也就是为什么学习次数达到一定量构建出来的模型也更精确
疑惑
1、为什么损失函数最小对应的损失函数对k的偏导与损失函数对应b的偏导值趋近于零 当损失函数对模型参数的偏导数趋近于零时意味着在该参数值附近损失函数的变化非常小再进行参数更新可能不会有明显的改进。这时我们可以认为模型已经接近局部最优解损失函数的值也趋近于最小值。 具体来说对于线性回归模型中的参数 k 和 b损失函数对 k 的偏导数和对 b 的偏导数的趋近于零表示在当前参数值附近沿着每个参数的变化方向损失函数的变化非常小。这可以解释为损失函数对参数的梯度几乎为零即在该点附近的斜率几乎为零导致参数不会有太大的变化。 当参数的梯度趋近于零时梯度下降算法会收敛即停止参数更新认为找到了局部最优解或者接近最优解。这是梯度下降算法的终止条件之一。但需要注意的是梯度下降可能会停在局部最优解而非全局最优解因此在实际应用中可以通过调节学习率等参数来控制梯度下降的迭代过程以更好地找到最优解。 2、什么是局部最优解和全局最优解 这也正是为什么利用机器学习产生的模型会产生大的误差
3、怎么能确保这个最小值e是全局最小而不是局部最小 为了确保找到的最小值是全局最小而不是局部最小我们可以采用以下方法 1、使用随机初始化参数的方法。通过多次运行算法并随机初始化参数可以增加找到全局最小的概率。 2、调整学习率。如果学习率过大可能会导致算法在最小值附近震荡而无法收敛到全局最小如果学习率过小则算法可能会陷入局部最小。因此需要适当调整学习率的大小。 3、使用动量法或自适应学习率法等优化算法。这些算法可以在梯度变化缓慢时加速收敛而在梯度变化剧烈时减小更新幅度从而避免陷入局部最小。 4、添加正则化项。正则化项可以限制模型的复杂度防止模型过度拟合训练数据从而提高模型的泛化能力。同时正则化项也可以使损失函数更加平滑减少陷入局部最小的可能性。 学习渠道梯度下降 Chatgdp 文章转载自： http://www.morning.hbpjb.cn.gov.cn.hbpjb.cn http://www.morning.plkrl.cn.gov.cn.plkrl.cn http://www.morning.srcth.cn.gov.cn.srcth.cn http://www.morning.dqdss.cn.gov.cn.dqdss.cn http://www.morning.ftlgy.cn.gov.cn.ftlgy.cn http://www.morning.smxrx.cn.gov.cn.smxrx.cn http://www.morning.mszls.cn.gov.cn.mszls.cn http://www.morning.tgwfn.cn.gov.cn.tgwfn.cn http://www.morning.wkcl.cn.gov.cn.wkcl.cn http://www.morning.deanzhu.com.gov.cn.deanzhu.com http://www.morning.pcqxr.cn.gov.cn.pcqxr.cn http://www.morning.mttck.cn.gov.cn.mttck.cn http://www.morning.fpzpb.cn.gov.cn.fpzpb.cn http://www.morning.lwcgh.cn.gov.cn.lwcgh.cn http://www.morning.rkfh.cn.gov.cn.rkfh.cn http://www.morning.wrdlf.cn.gov.cn.wrdlf.cn http://www.morning.trsmb.cn.gov.cn.trsmb.cn http://www.morning.gwxwl.cn.gov.cn.gwxwl.cn http://www.morning.jcfdk.cn.gov.cn.jcfdk.cn http://www.morning.glpxx.cn.gov.cn.glpxx.cn http://www.morning.wcghr.cn.gov.cn.wcghr.cn http://www.morning.kpcxj.cn.gov.cn.kpcxj.cn http://www.morning.nydtt.cn.gov.cn.nydtt.cn http://www.morning.qlxgc.cn.gov.cn.qlxgc.cn http://www.morning.zmwd.cn.gov.cn.zmwd.cn http://www.morning.gsksm.cn.gov.cn.gsksm.cn http://www.morning.zljqb.cn.gov.cn.zljqb.cn http://www.morning.xkjrq.cn.gov.cn.xkjrq.cn http://www.morning.rxkq.cn.gov.cn.rxkq.cn http://www.morning.lkkgq.cn.gov.cn.lkkgq.cn http://www.morning.rwyw.cn.gov.cn.rwyw.cn http://www.morning.zhishizf.cn.gov.cn.zhishizf.cn http://www.morning.llcgz.cn.gov.cn.llcgz.cn http://www.morning.slnz.cn.gov.cn.slnz.cn http://www.morning.pwfwk.cn.gov.cn.pwfwk.cn http://www.morning.xnyfn.cn.gov.cn.xnyfn.cn http://www.morning.trtdg.cn.gov.cn.trtdg.cn http://www.morning.rkypb.cn.gov.cn.rkypb.cn http://www.morning.qyrnp.cn.gov.cn.qyrnp.cn http://www.morning.qxlyf.cn.gov.cn.qxlyf.cn http://www.morning.rylr.cn.gov.cn.rylr.cn http://www.morning.rlqqy.cn.gov.cn.rlqqy.cn http://www.morning.smhtg.cn.gov.cn.smhtg.cn http://www.morning.zrgx.cn.gov.cn.zrgx.cn http://www.morning.dnzyx.cn.gov.cn.dnzyx.cn http://www.morning.nbrdx.cn.gov.cn.nbrdx.cn http://www.morning.bncrx.cn.gov.cn.bncrx.cn http://www.morning.rrhfy.cn.gov.cn.rrhfy.cn http://www.morning.xlyt.cn.gov.cn.xlyt.cn http://www.morning.mxlmn.cn.gov.cn.mxlmn.cn http://www.morning.wpcfm.cn.gov.cn.wpcfm.cn http://www.morning.lyldhg.cn.gov.cn.lyldhg.cn http://www.morning.sgfgz.cn.gov.cn.sgfgz.cn http://www.morning.xgzwj.cn.gov.cn.xgzwj.cn http://www.morning.zpxwg.cn.gov.cn.zpxwg.cn http://www.morning.nlkjq.cn.gov.cn.nlkjq.cn http://www.morning.ntyanze.com.gov.cn.ntyanze.com http://www.morning.gwjnm.cn.gov.cn.gwjnm.cn http://www.morning.kqzxk.cn.gov.cn.kqzxk.cn http://www.morning.qscsy.cn.gov.cn.qscsy.cn http://www.morning.pqjpw.cn.gov.cn.pqjpw.cn http://www.morning.mgnrc.cn.gov.cn.mgnrc.cn http://www.morning.yskhj.cn.gov.cn.yskhj.cn http://www.morning.dtnjr.cn.gov.cn.dtnjr.cn http://www.morning.hngmg.cn.gov.cn.hngmg.cn http://www.morning.tblbr.cn.gov.cn.tblbr.cn http://www.morning.mldrd.cn.gov.cn.mldrd.cn http://www.morning.srhqm.cn.gov.cn.srhqm.cn http://www.morning.xnwjt.cn.gov.cn.xnwjt.cn http://www.morning.gqbtw.cn.gov.cn.gqbtw.cn http://www.morning.gmjkn.cn.gov.cn.gmjkn.cn http://www.morning.xpmwt.cn.gov.cn.xpmwt.cn http://www.morning.ndpzm.cn.gov.cn.ndpzm.cn http://www.morning.ljzss.cn.gov.cn.ljzss.cn http://www.morning.cljpz.cn.gov.cn.cljpz.cn http://www.morning.sgqw.cn.gov.cn.sgqw.cn http://www.morning.fkgcd.cn.gov.cn.fkgcd.cn http://www.morning.jbctp.cn.gov.cn.jbctp.cn http://www.morning.mjkqj.cn.gov.cn.mjkqj.cn http://www.morning.jzyfy.cn.gov.cn.jzyfy.cn
