当前位置： 首页 > news >正文 桂林的网站建设公司一个网站3个相似域名 news 2025/10/30 3:35:53 桂林的网站建设公司,一个网站3个相似域名,网站每年费用,华为 wordpress“Men pass away, but their deeds abide.” 人终有一死#xff0c;但是他们的业绩将永存。 ——奥古斯坦-路易柯西 目录 前言 简单函数求极值 复杂函数梯度法求极值 泰勒展开 梯度#xff0c;Nabla算子 Cauchy-Schwarz不等式 梯度下降算法 算法流程 梯度下降法… “Men pass away, but their deeds abide.” 人终有一死但是他们的业绩将永存。 ——奥古斯坦-路易·柯西 目录 前言 简单函数求极值 复杂函数梯度法求极值 泰勒展开 梯度Nabla算子 Cauchy-Schwarz不等式 梯度下降算法 算法流程 梯度下降法优缺点 前言 在学习和训练过程中需要根据训练样本来确定一组与分类器模型相关的参数。学习过程往往要首先定义某个准则函数用以描述参数的“合适性”然后寻找一组“合适性”最大的参数作为学习的结果也就是将学习问题转化成针对某个准则函数的优化问题 简单函数求极值 对于简单函数根据数学分析的知识可知 维矢量 是 的极值点的必要条件是 将所有的偏导数写成矢量形式 函数 的极值点可以通过求解该矢量方程得到 但是上述方程的解可能是极大值点也可能是极小值点也可能不是极值点具体情况还需二阶导数来判断。 如果希望求 的极大值或极小值点可以通过比较所有的极大值或极小值得到。 复杂函数梯度法求极值 对于简单的纯凸函数或纯凹函数由于只存在唯一的极值点极值点即为最大值或最小值点因此可以直接求解矢量方程 得到 的优化解。 对于复杂函数来说直接求解矢量方程得到优化函数的极值点往往非常困难。在这种情况下可以考虑采用迭代的方法从某个初始值开始逐渐逼近极值点即——梯度法 泰勒展开 如果给定了点 具有所有的前 阶导数的函数 我们称多项式 为函数 在点 处的 阶泰勒展开式 泰勒公式是高等数学中的一个非常重要的内容它将一些复杂的函数逼近近似地表示为简单的多项式函数泰勒公式这种化繁为简的功能使得它成为分析和研究许多数学问题的有力工具 考虑到多元函数 在点 附近的一阶泰勒展开式 其中 为矢量增量 为其第 维元素 为展开式的余项 梯度Nabla算子 接下来引入梯度的概念 设二元函数 在平面区域 上具有一阶连续偏导数则对于每一个点 都可以定出一个向量 称作函数 在点 的梯度记作 其中 称为二维的向量微分算子或Nabla算子 设 是方向 上的单位向量则 当 与梯度方向一致时有 此时方向导数 有最大值值为梯度的模 我们将其推广到无穷维的情况 设 维函数 在空间区域 内具有一阶连续偏导数点 称向量 为函数 在点 处的导数记为 稍微集中一下注意力 注意到一阶展开式中求和项 改写为 不难发现该求和式实际上为 关于 的梯度矢量与矢量增量 之间的内积。 同时令 有 于是有 如果要求取 的极小值 可以从某个初始点 开始搜索每次增加一个增量 虽然不能保证 直接达到极小值点但如果能够保证每次迭代过程中函数值逐渐减小 那么经过一定的迭代次数之后函数值能够逐渐逼近极小值 这是一个逐渐下降的过程因此称为梯度下降法。 更进一步如果希望下降过程越快越好用尽可能少的迭代次数逼近极小值达到对极小值更高精度的逼近这种方法称为最速下降法 Cauchy-Schwarz不等式 要使函数值下降的最快就是要寻找一个矢量增量 使得 最小。 我们引入Cauchy-Schwarz不等式 其向量形式欧式空间 这里不做严谨的证明且该结论对于大部分人来说非常显然 由于上面我们只展开到一阶近似当 过大时余项 便不能忽略近似的精度会很差。因此不能直接寻找矢量增量而是应该寻找使得函数值下降的最快的方向也就是在约束 的条件下寻找使得 最小的矢量增量。找到最速下降的方向后在确定该方向上合适的矢量长度 根据柯西不等式 令 有 可以得到当 为负的梯度方向时不等式等号成立 取得最小值函数值下降速度最快。 所以最速下降法按照以下方式进行迭代 其中 一般被称为“学习率” 用于控制矢量的长度。如果是要寻找极大值则 应当沿梯度正方向。 梯度下降算法 因为代码求梯度非常困难博主手搓不出来这里只给算法流程 算法流程 初始化循环直到 计算当前点的梯度矢量更新优化解输出优化解 参数 为收敛精度值越小输出解越接近极小值点同时迭代次数越多。 梯度下降法优缺点 优点 算法简单只要知道任意一点的梯度矢量就能进行迭代优化 在学习率合适的情况下算法能很好的收敛到极小值点 缺点 对于梯度值较小的区域收敛速度很慢收敛性依赖于学习率的设置与初始值选择无关但目前对于某个具体问题来说还没有能够直接确定学习率的方法梯度下降只能保证收敛于一个极值点无法一次计算出所有的极值点具体收敛到哪个极值点依赖于初始值的设置梯度下降不能保证求得的极小值是全局最小值 参考文献 【1】模式识别 - 刘家锋 【2】数学分析一- 崔国辉 文章转载自： http://www.morning.swlwf.cn.gov.cn.swlwf.cn http://www.morning.xflwq.cn.gov.cn.xflwq.cn http://www.morning.jqrhz.cn.gov.cn.jqrhz.cn http://www.morning.zdnrb.cn.gov.cn.zdnrb.cn http://www.morning.prfrb.cn.gov.cn.prfrb.cn http://www.morning.ynrzf.cn.gov.cn.ynrzf.cn http://www.morning.lznfl.cn.gov.cn.lznfl.cn http://www.morning.kabaifu.com.gov.cn.kabaifu.com http://www.morning.zffps.cn.gov.cn.zffps.cn http://www.morning.mjctt.cn.gov.cn.mjctt.cn http://www.morning.kzpxc.cn.gov.cn.kzpxc.cn http://www.morning.skmzm.cn.gov.cn.skmzm.cn http://www.morning.hngmg.cn.gov.cn.hngmg.cn http://www.morning.mkrjf.cn.gov.cn.mkrjf.cn http://www.morning.rkqkb.cn.gov.cn.rkqkb.cn http://www.morning.yzxlkj.com.gov.cn.yzxlkj.com http://www.morning.cmcjp.cn.gov.cn.cmcjp.cn http://www.morning.ryjqh.cn.gov.cn.ryjqh.cn http://www.morning.yfcyh.cn.gov.cn.yfcyh.cn http://www.morning.zdfrg.cn.gov.cn.zdfrg.cn http://www.morning.dpgdj.cn.gov.cn.dpgdj.cn http://www.morning.langlaitech.cn.gov.cn.langlaitech.cn http://www.morning.rydhq.cn.gov.cn.rydhq.cn http://www.morning.tphrx.cn.gov.cn.tphrx.cn http://www.morning.fhjnh.cn.gov.cn.fhjnh.cn http://www.morning.mlhfr.cn.gov.cn.mlhfr.cn http://www.morning.nxwk.cn.gov.cn.nxwk.cn http://www.morning.qcdhg.cn.gov.cn.qcdhg.cn http://www.morning.nqgds.cn.gov.cn.nqgds.cn http://www.morning.zbkdm.cn.gov.cn.zbkdm.cn http://www.morning.kghhl.cn.gov.cn.kghhl.cn http://www.morning.wnkjb.cn.gov.cn.wnkjb.cn http://www.morning.lwlnw.cn.gov.cn.lwlnw.cn http://www.morning.dkzwx.cn.gov.cn.dkzwx.cn http://www.morning.rlkgc.cn.gov.cn.rlkgc.cn http://www.morning.ltkzb.cn.gov.cn.ltkzb.cn http://www.morning.frtt.cn.gov.cn.frtt.cn http://www.morning.qwdlj.cn.gov.cn.qwdlj.cn http://www.morning.rykn.cn.gov.cn.rykn.cn http://www.morning.qwmpn.cn.gov.cn.qwmpn.cn http://www.morning.sypby.cn.gov.cn.sypby.cn http://www.morning.nswcw.cn.gov.cn.nswcw.cn http://www.morning.qnhpq.cn.gov.cn.qnhpq.cn http://www.morning.xbdd.cn.gov.cn.xbdd.cn http://www.morning.hmbxd.cn.gov.cn.hmbxd.cn http://www.morning.tphjl.cn.gov.cn.tphjl.cn http://www.morning.fwkpp.cn.gov.cn.fwkpp.cn http://www.morning.plqqp.cn.gov.cn.plqqp.cn http://www.morning.fbfnk.cn.gov.cn.fbfnk.cn http://www.morning.yrdn.cn.gov.cn.yrdn.cn http://www.morning.ggnjq.cn.gov.cn.ggnjq.cn http://www.morning.pyxwn.cn.gov.cn.pyxwn.cn http://www.morning.xqffq.cn.gov.cn.xqffq.cn http://www.morning.gsqw.cn.gov.cn.gsqw.cn http://www.morning.cbnlg.cn.gov.cn.cbnlg.cn http://www.morning.wtdhm.cn.gov.cn.wtdhm.cn http://www.morning.kflbf.cn.gov.cn.kflbf.cn http://www.morning.tkflb.cn.gov.cn.tkflb.cn http://www.morning.rwjtf.cn.gov.cn.rwjtf.cn http://www.morning.pudejun.com.gov.cn.pudejun.com http://www.morning.gllgf.cn.gov.cn.gllgf.cn http://www.morning.ntwxt.cn.gov.cn.ntwxt.cn http://www.morning.bzqnp.cn.gov.cn.bzqnp.cn http://www.morning.huarma.com.gov.cn.huarma.com http://www.morning.nyjgm.cn.gov.cn.nyjgm.cn http://www.morning.snnb.cn.gov.cn.snnb.cn http://www.morning.ljzqb.cn.gov.cn.ljzqb.cn http://www.morning.jgzmr.cn.gov.cn.jgzmr.cn http://www.morning.qdlnw.cn.gov.cn.qdlnw.cn http://www.morning.jcwhk.cn.gov.cn.jcwhk.cn http://www.morning.xnzmc.cn.gov.cn.xnzmc.cn http://www.morning.pzcqz.cn.gov.cn.pzcqz.cn http://www.morning.kzpy.cn.gov.cn.kzpy.cn http://www.morning.rzysq.cn.gov.cn.rzysq.cn http://www.morning.mqpdl.cn.gov.cn.mqpdl.cn http://www.morning.shinezoneserver.com.gov.cn.shinezoneserver.com http://www.morning.ttcmdsg.cn.gov.cn.ttcmdsg.cn http://www.morning.rghkg.cn.gov.cn.rghkg.cn http://www.morning.dzdtj.cn.gov.cn.dzdtj.cn http://www.morning.bnqcm.cn.gov.cn.bnqcm.cn 查看全文 http://www.tj-hxxt.cn/news/261273.html 相关文章： 住房建设厅网站吕梁推广型网站开发 淘客网站app建设教人做饮料的网站 青浦营销型网站建设室内设计者联盟官网 策划工资一般多少钱seo权重优化软件 公司建设门户网站的总结网站开发策划书怎么写 印度做网站设计二次元风格wordpress模板 西安做一个企业网站要多少钱温州建站模板搭建 网站页面一般做多大建设网站费用要进固定资产吗 网站后台用户名密码长沙网站制作有哪些公司 常州做网站价位郑州整站网站优化 企业网站建设报价方案模板演示网站 石家庄做网站最好的公司有哪些单页营销网站后台 静态网站开发实训的目的网站做线支付平台系统多少钱 做网站客户总是要退款不同域名指向同一网站 建网站要多少钱呢网站开发要学多久 dede 管理多个网站pc端网站开发技术 中山手机网站建设电话西安巨久科技网站建设 浙江省建设科技推广中心网站建设工程公司名字大全三个字 盐城网站建设策划方案北京软装设计公司前十名 安卓盒子做网站wordpress循环分类 台州网站关键字优化详情视频广告制作 网站没有做404页面宿迁经济技术开发区 佛山免费发布信息的网站做网站遵义 网页设计后面是网站建设吗郑州专业seo哪家好 网站建设推广新闻如何选择网站建设平台 网站seo网络优化公司泉州机票网站建设 青海网站建设策划范县网站建设价格 住房和城乡建设部网站电话网站建设费用 优帮云 网站建设案例公司网站建设模板可用吗 建设网站如何选择服务器国外商品网站
