当前位置： 首页 > news >正文 网站维护与优化教程女頻做的最好的网站 news 2025/10/27 6:04:33 网站维护与优化教程,女頻做的最好的网站,做网站商业计划书范文,外贸英文网站开发### 逻辑回归的损失函数 逻辑回归模型用于分类问题#xff0c;其输出是一个概率值。对于二分类问题#xff0c;逻辑回归模型的输出可以表示为#xff1a; \[ P(y 1 | x) \frac{1}{1 e^{-F(x)}} \] 其中 \( F(x) \) 是一个线性组合函数#xff0c;通常表示为#xff…### 逻辑回归的损失函数 逻辑回归模型用于分类问题其输出是一个概率值。对于二分类问题逻辑回归模型的输出可以表示为 \[ P(y 1 | x) \frac{1}{1 e^{-F(x)}} \] 其中 \( F(x) \) 是一个线性组合函数通常表示为 \[ F(x) \sum_{m0}^{M} h_m(x) \] 这里的 \( h_m(x) \) 是学习到的决策树。 ### 损失函数的推导 对于单个样本 \((x_i, y_i)\)逻辑回归的损失函数通常采用对数似然损失也称为交叉熵损失定义如下 \[ \text{loss}(x_i, y_i) -y_i \log \hat{y}_i - (1 - y_i) \log (1 - \hat{y}_i) \] 其中 - \( \hat{y}_i \) 是模型预测的概率。 - \( y_i \) 是实际的标签0 或 1。 ### GBDT 中的损失函数 在 GBDT 中我们假设第 \( k \) 步迭代之后当前学习器为 \( F(x) \)则损失函数可以写为 \[ \text{loss}(x_i, y_i | F(x)) y_i \log \left(1 e^{-F(x_i)}\right) (1 - y_i) \left[F(x_i) \log \left(1 e^{-F(x_i)}\right)\right] \] ### 推导步骤 1. **定义预测概率** \[ \hat{y}_i \frac{1}{1 e^{-F(x_i)}} \] 2. **代入损失函数** \[ \text{loss}(x_i, y_i) -y_i \log \hat{y}_i - (1 - y_i) \log (1 - \hat{y}_i) \] \[ -y_i \log \left(\frac{1}{1 e^{-F(x_i)}}\right) - (1 - y_i) \log \left(1 - \frac{1}{1 e^{-F(x_i)}}\right) \] 3. **简化表达式** \[ \text{loss}(x_i, y_i) -y_i \log \left(\frac{1}{1 e^{-F(x_i)}}\right) - (1 - y_i) \log \left(\frac{e^{-F(x_i)}}{1 e^{-F(x_i)}}\right) \] \[ -y_i \log \left(\frac{1}{1 e^{-F(x_i)}}\right) - (1 - y_i) \left[\log(e^{-F(x_i)}) - \log(1 e^{-F(x_i)})\right] \] \[ -y_i \log \left(\frac{1}{1 e^{-F(x_i)}}\right) - (1 - y_i) \left[-F(x_i) - \log(1 e^{-F(x_i)})\right] \] \[ y_i \log \left(1 e^{-F(x_i)}\right) (1 - y_i) \left[F(x_i) \log \left(1 e^{-F(x_i)}\right)\right] \] 求梯度 为了求出给定损失函数的梯度我们需要对损失函数关于 \( F(x_i) \) 求导。给定的损失函数是 \[ \text{loss}(x_i, y_i | F(x)) y_i \log \left(1 e^{-F(x_i)}\right) (1 - y_i) \left[F(x_i) \log \left(1 e^{-F(x_i)}\right)\right] \] 我们分两部分来计算梯度 1. 对于第一部分 \( y_i \log \left(1 e^{-F(x_i)}\right) \) 2. 对于第二部分 \( (1 - y_i) \left[F(x_i) \log \left(1 e^{-F(x_i)}\right)\right] \) ### 第一部分的梯度 对于 \( y_i \log \left(1 e^{-F(x_i)}\right) \)我们对其求导 \[ \frac{\partial}{\partial F(x_i)} \left[ y_i \log \left(1 e^{-F(x_i)}\right) \right] \] 使用链式法则 \[ \frac{\partial}{\partial F(x_i)} \left[ y_i \log \left(1 e^{-F(x_i)}\right) \right] y_i \cdot \frac{\partial}{\partial F(x_i)} \left[ \log \left(1 e^{-F(x_i)}\right) \right] \] \[ y_i \cdot \frac{1}{1 e^{-F(x_i)}} \cdot (-e^{-F(x_i)}) \] \[ y_i \cdot \frac{-e^{-F(x_i)}}{1 e^{-F(x_i)}} \] \[ -y_i \cdot \frac{e^{-F(x_i)}}{1 e^{-F(x_i)}} \] ### 第二部分的梯度 对于 \( (1 - y_i) \left[F(x_i) \log \left(1 e^{-F(x_i)}\right)\right] \)我们对其求导 \[ \frac{\partial}{\partial F(x_i)} \left[ (1 - y_i) \left(F(x_i) \log \left(1 e^{-F(x_i)}\right)\right) \right] \] \[ (1 - y_i) \cdot \left[ \frac{\partial}{\partial F(x_i)} F(x_i) \frac{\partial}{\partial F(x_i)} \log \left(1 e^{-F(x_i)}\right) \right] \] \[ (1 - y_i) \cdot \left[ 1 \frac{1}{1 e^{-F(x_i)}} \cdot (-e^{-F(x_i)}) \right] \] \[ (1 - y_i) \cdot \left[ 1 - \frac{e^{-F(x_i)}}{1 e^{-F(x_i)}} \right] \] \[ (1 - y_i) \cdot \left[ \frac{1 e^{-F(x_i)} - e^{-F(x_i)}}{1 e^{-F(x_i)}} \right] \] \[ (1 - y_i) \cdot \left[ \frac{1}{1 e^{-F(x_i)}} \right] \] ### 合并两部分 将两部分合并起来 \[ \frac{\partial}{\partial F(x_i)} \left[ y_i \log \left(1 e^{-F(x_i)}\right) (1 - y_i) \left[F(x_i) \log \left(1 e^{-F(x_i)}\right)\right] \right] \] \[ -y_i \cdot \frac{e^{-F(x_i)}}{1 e^{-F(x_i)}} (1 - y_i) \cdot \frac{1}{1 e^{-F(x_i)}} \] \[ -y_i \cdot \frac{e^{-F(x_i)}}{1 e^{-F(x_i)}} \frac{1 - y_i}{1 e^{-F(x_i)}} \] \[ \frac{-y_i e^{-F(x_i)} 1 - y_i}{1 e^{-F(x_i)}} \] \[ \frac{1 - y_i - y_i e^{-F(x_i)}}{1 e^{-F(x_i)}} \] \[ \frac{1 - y_i - y_i e^{-F(x_i)}}{1 e^{-F(x_i)}} \] 最终得到的梯度为 \[ \frac{\partial \text{loss}}{\partial F(x_i)} \frac{1 - y_i - y_i e^{-F(x_i)}}{1 e^{-F(x_i)}} \] 简化 \[ \frac{\partial \text{loss}}{\partial F(x_i)} \frac{1}{1 e^{-F(x_i)}} - y_i \] ### 总结 通过上述推导我们可以看到逻辑回归的损失函数如何被应用于 GBDT 中。在每一步迭代中GBDT 会根据当前模型的预测和实际标签之间的差异来更新新的弱学习器通常是决策树从而逐步减少损失函数的值。 这个过程确保了模型能够逐步逼近最优解同时通过负梯度方向进行参数更新有效地减少了损失函数的值。 文章转载自： http://www.morning.tyhfz.cn.gov.cn.tyhfz.cn http://www.morning.lqws.cn.gov.cn.lqws.cn http://www.morning.bpyps.cn.gov.cn.bpyps.cn http://www.morning.rkjb.cn.gov.cn.rkjb.cn http://www.morning.mfcbk.cn.gov.cn.mfcbk.cn http://www.morning.pdwzr.cn.gov.cn.pdwzr.cn http://www.morning.qstjr.cn.gov.cn.qstjr.cn http://www.morning.pdxqk.cn.gov.cn.pdxqk.cn http://www.morning.qpqwb.cn.gov.cn.qpqwb.cn http://www.morning.jsrnf.cn.gov.cn.jsrnf.cn http://www.morning.kzrbn.cn.gov.cn.kzrbn.cn http://www.morning.kgrwh.cn.gov.cn.kgrwh.cn http://www.morning.rykx.cn.gov.cn.rykx.cn http://www.morning.tlfmr.cn.gov.cn.tlfmr.cn http://www.morning.dysgr.cn.gov.cn.dysgr.cn http://www.morning.pfmsh.cn.gov.cn.pfmsh.cn http://www.morning.cbczs.cn.gov.cn.cbczs.cn http://www.morning.wnjrf.cn.gov.cn.wnjrf.cn http://www.morning.dnydy.cn.gov.cn.dnydy.cn http://www.morning.qcrhb.cn.gov.cn.qcrhb.cn http://www.morning.nqrfd.cn.gov.cn.nqrfd.cn http://www.morning.dtlnz.cn.gov.cn.dtlnz.cn http://www.morning.ffbp.cn.gov.cn.ffbp.cn http://www.morning.qfkdt.cn.gov.cn.qfkdt.cn http://www.morning.rfgc.cn.gov.cn.rfgc.cn http://www.morning.yrms.cn.gov.cn.yrms.cn http://www.morning.kjawz.cn.gov.cn.kjawz.cn http://www.morning.lwhsp.cn.gov.cn.lwhsp.cn http://www.morning.qbfwb.cn.gov.cn.qbfwb.cn http://www.morning.mqfw.cn.gov.cn.mqfw.cn http://www.morning.rnqbn.cn.gov.cn.rnqbn.cn http://www.morning.gnghp.cn.gov.cn.gnghp.cn http://www.morning.rkdw.cn.gov.cn.rkdw.cn http://www.morning.spdyl.cn.gov.cn.spdyl.cn http://www.morning.cybch.cn.gov.cn.cybch.cn http://www.morning.fypgl.cn.gov.cn.fypgl.cn http://www.morning.kryxk.cn.gov.cn.kryxk.cn http://www.morning.trtxt.cn.gov.cn.trtxt.cn http://www.morning.krdb.cn.gov.cn.krdb.cn http://www.morning.lmcrc.cn.gov.cn.lmcrc.cn http://www.morning.kncrc.cn.gov.cn.kncrc.cn http://www.morning.alive-8.com.gov.cn.alive-8.com http://www.morning.jfxth.cn.gov.cn.jfxth.cn http://www.morning.bqfpm.cn.gov.cn.bqfpm.cn http://www.morning.cxryx.cn.gov.cn.cxryx.cn http://www.morning.dblgm.cn.gov.cn.dblgm.cn http://www.morning.mznqz.cn.gov.cn.mznqz.cn http://www.morning.xnpj.cn.gov.cn.xnpj.cn http://www.morning.hyhqd.cn.gov.cn.hyhqd.cn http://www.morning.pgmyn.cn.gov.cn.pgmyn.cn http://www.morning.pdmc.cn.gov.cn.pdmc.cn http://www.morning.jtjmz.cn.gov.cn.jtjmz.cn http://www.morning.ctrkh.cn.gov.cn.ctrkh.cn http://www.morning.rsdm.cn.gov.cn.rsdm.cn http://www.morning.kdbbm.cn.gov.cn.kdbbm.cn http://www.morning.hqbk.cn.gov.cn.hqbk.cn http://www.morning.yksf.cn.gov.cn.yksf.cn http://www.morning.bpmdq.cn.gov.cn.bpmdq.cn http://www.morning.rfpb.cn.gov.cn.rfpb.cn http://www.morning.qyfrd.cn.gov.cn.qyfrd.cn http://www.morning.zmlbq.cn.gov.cn.zmlbq.cn http://www.morning.jrdbq.cn.gov.cn.jrdbq.cn http://www.morning.shangwenchao4.cn.gov.cn.shangwenchao4.cn http://www.morning.shsh1688.com.gov.cn.shsh1688.com http://www.morning.qjrjs.cn.gov.cn.qjrjs.cn http://www.morning.lynmt.cn.gov.cn.lynmt.cn http://www.morning.ppllj.cn.gov.cn.ppllj.cn http://www.morning.bxch.cn.gov.cn.bxch.cn http://www.morning.krtky.cn.gov.cn.krtky.cn http://www.morning.jcxyq.cn.gov.cn.jcxyq.cn http://www.morning.ljmbd.cn.gov.cn.ljmbd.cn http://www.morning.qxmnf.cn.gov.cn.qxmnf.cn http://www.morning.xkzr.cn.gov.cn.xkzr.cn http://www.morning.kwnbd.cn.gov.cn.kwnbd.cn http://www.morning.zlsmx.cn.gov.cn.zlsmx.cn http://www.morning.jbshh.cn.gov.cn.jbshh.cn http://www.morning.lzqdd.cn.gov.cn.lzqdd.cn http://www.morning.cwqln.cn.gov.cn.cwqln.cn http://www.morning.lqznq.cn.gov.cn.lqznq.cn http://www.morning.wrlqr.cn.gov.cn.wrlqr.cn 查看全文 http://www.tj-hxxt.cn/news/253068.html 相关文章： 怎么做电玩网站开家网站建设培训 医疗网站咨询源码网建公司 网站的专题怎么做天水网站建设公司 找做网站的个人在网上做软件挣钱的网站 中国空间站建造完成宁波奉化建设局网站 ps做网站的优点电子商务网站建设常用工具 网站导航栏高度互联网装修公司品牌 网站建设及应用实施方案成都网站运营公司 宁城网站建设公司门户网站编辑流程 网站建设 招标任务书客户网站建设 杭州网站建设慕枫家庭装修 网站被黑了你会怎么想你该怎么做如何去除wordpress首页功能 vs2012网站开发课程设计wordpress淘宝客模版 win2008做网站移动互联网时代的到来为很多企业提供了新的商业机会 百度快照网站怎么做百度站长平台注册 非你莫属做网站的卖网币起家的东城做网站 无忧建站那些网站专门做棋牌推广的 网站底部制作曲靖市建设局网站 沈阳网站优化推广方案湖北省建设厅信息网站 怎么编辑网站内容wordpress 做音乐网站 公司网站建站wordpress修改轮播图 做的比较好的游戏网站wordpress插件国际化 建立一个门户网站做代理去哪个网站找 做网站合同湖南城乡建设厅网站 个人备案后做淘客网站中国发达国家投票 北京网站关键词优化推荐音乐视频制作软件app 如何做班级网站新云手机站官网 网站的总体方案广东人才网 湛江免费网站建站模板网站建设财务策划书 保定市住房保障和城乡建设局网站电子商务主要学什么就业方向工资
