当前位置： 首页 > news >正文 工信部网站登陆网页代理 最干净 news 2025/11/4 18:31:17 工信部网站登陆,网页代理 最干净,百度关键词优化快速排名软件,关键词排名seo优化前言 最近想开一个关于强化学习专栏#xff0c;因为DeepSeek-R1很火#xff0c;但本人对于LLM连门都没入。因此#xff0c;只是记录一些类似的读书笔记#xff0c;内容不深#xff0c;大多数只是一些概念的东西#xff0c;数学公式也不会太多#xff0c;还望读者多多指教…前言 最近想开一个关于强化学习专栏因为DeepSeek-R1很火但本人对于LLM连门都没入。因此只是记录一些类似的读书笔记内容不深大多数只是一些概念的东西数学公式也不会太多还望读者多多指教。本次阅读书籍为马克西姆的《深度强化学习实践》。 限于篇幅原因请读者首先看下历史文章 马尔科夫过程 马尔科夫奖励过程 马尔科夫奖励过程二 RL框架Gym简介 Gym实现CartPole随机智能体 交叉熵方法数学推导 强化学习入门交叉熵方法实现CartPole智能体 1、出发点 原定本篇博客该介绍bellman方程的但发现自己对于一些基础概念的计算和理解有点儿模糊于是本篇先恶补一下目前RL所出现的一些基础概念并搭配详细的计算公式。 2、示例 这里以书中一个例子来说明一些概念在上图中每个灰色节点表示状态每条边上实线圆表示状态转移概率每个虚线圆则表示状态转移所获得的奖励。 下面将举个视为片段的例子在RL中也被称为“状态链”。 片段家– 咖啡 -- 计算机 -- 家。 在引入了片段后就能解释何为“回报”定义了 这里先贴下回报公式对于一个片段来说在 t t t时刻的回报定义为 G t R t 1 γ R t 2 . . . ∑ k 0 ∞ γ k R t k 1 G_t R_{t1} \gamma R_{t2} ... \sum_{k0}^{\infty}\gamma^kR_{tk1} GtRt1γRt2...k0∑∞γkRtk1 其中 γ \gamma γ是超参数 R t R_t Rt表示 t t t时刻奖励。 这里有个问题对于一个智能体来说可执行的状态链太多了实际上回报应用的不太多因此这里引入了一个状态的期望回报(对大量状态链求回报的期望)即状态的价值 V ( s ) E [ G ] E [ ∑ k 0 ∞ γ k R t k 1 ] V(s) E[G] E[\sum_{k0}^{\infty}\gamma^kR_{tk1}] V(s)E[G]E[k0∑∞γkRtk1] okay现在拿到公式了现在计算状态“家”的价值 家–家家–咖啡概率0.60.4奖励11 则根据价值的定义总共有两个状态链则家的价值为 V ( 家 ) 0.6 ∗ 1 0.4 ∗ 1 1.0 V(家) 0.6*1 0.4*1 1.0 V(家)0.6∗10.4∗11.0 按照同样的道理能得到其余状态的价值 V ( c o f f e e ) 2 × 0.7 1 × 0.1 3 × 0.2 2.1 V ( c o m p u t e r ) 2 × 0.7 1 × 0.1 3 × 0.2 2.8 V(coffee) 2×0.7 1×0.1 3×0.2 2.1 \\ V(computer) 2×0.7 1×0.1 3×0.2 2.8 V(coffee)2×0.71×0.13×0.22.1V(computer)2×0.71×0.13×0.22.8 在上述例子中你其实就是智能体你可以自由选择3个状态并执行某一个状态链进而获得最大的奖励则从众多的状态链中选择出一个回报最大的状态链就是策略的选择即 π ( s ) \pi(s) π(s)。 而智能体优化目标常常是选择何种策略通常会伴随选择执行什么样动作使得 π ( a ∣ s ) \pi(a|s) π(a∣s)最优。 总结 本文只是介绍了一部分概念后续会逐步添加新的概念从感性上认识下RL的一些基础概念。 文章转载自： http://www.morning.wnhml.cn.gov.cn.wnhml.cn http://www.morning.klyyd.cn.gov.cn.klyyd.cn http://www.morning.mbqyl.cn.gov.cn.mbqyl.cn http://www.morning.qjxxc.cn.gov.cn.qjxxc.cn http://www.morning.tqgx.cn.gov.cn.tqgx.cn http://www.morning.nktxr.cn.gov.cn.nktxr.cn http://www.morning.gkdhf.cn.gov.cn.gkdhf.cn http://www.morning.sqxr.cn.gov.cn.sqxr.cn http://www.morning.qsy41.cn.gov.cn.qsy41.cn http://www.morning.ppllj.cn.gov.cn.ppllj.cn http://www.morning.sxjmz.cn.gov.cn.sxjmz.cn http://www.morning.zkqwk.cn.gov.cn.zkqwk.cn http://www.morning.bwfsn.cn.gov.cn.bwfsn.cn http://www.morning.mksny.cn.gov.cn.mksny.cn http://www.morning.mqldj.cn.gov.cn.mqldj.cn http://www.morning.fyglr.cn.gov.cn.fyglr.cn http://www.morning.cbnxq.cn.gov.cn.cbnxq.cn http://www.morning.bzjpn.cn.gov.cn.bzjpn.cn http://www.morning.hffpy.cn.gov.cn.hffpy.cn http://www.morning.qlpyn.cn.gov.cn.qlpyn.cn http://www.morning.mplb.cn.gov.cn.mplb.cn http://www.morning.mlgsc.com.gov.cn.mlgsc.com http://www.morning.rwyd.cn.gov.cn.rwyd.cn http://www.morning.trbxt.cn.gov.cn.trbxt.cn http://www.morning.nsmyj.cn.gov.cn.nsmyj.cn http://www.morning.bfrsr.cn.gov.cn.bfrsr.cn http://www.morning.gbcxb.cn.gov.cn.gbcxb.cn http://www.morning.llqch.cn.gov.cn.llqch.cn http://www.morning.xxwhz.cn.gov.cn.xxwhz.cn http://www.morning.rbzht.cn.gov.cn.rbzht.cn http://www.morning.pmptm.cn.gov.cn.pmptm.cn http://www.morning.hotlads.com.gov.cn.hotlads.com http://www.morning.zfgh.cn.gov.cn.zfgh.cn http://www.morning.mumgou.com.gov.cn.mumgou.com http://www.morning.nhgkm.cn.gov.cn.nhgkm.cn http://www.morning.klzdy.cn.gov.cn.klzdy.cn http://www.morning.mtmnk.cn.gov.cn.mtmnk.cn http://www.morning.rwjtf.cn.gov.cn.rwjtf.cn http://www.morning.sqhlx.cn.gov.cn.sqhlx.cn http://www.morning.jzykw.cn.gov.cn.jzykw.cn http://www.morning.drmbh.cn.gov.cn.drmbh.cn http://www.morning.srckl.cn.gov.cn.srckl.cn http://www.morning.zrgx.cn.gov.cn.zrgx.cn http://www.morning.ndyrb.com.gov.cn.ndyrb.com http://www.morning.rmqlf.cn.gov.cn.rmqlf.cn http://www.morning.cdrzw.cn.gov.cn.cdrzw.cn http://www.morning.nylbb.cn.gov.cn.nylbb.cn http://www.morning.ykwgl.cn.gov.cn.ykwgl.cn http://www.morning.zfrs.cn.gov.cn.zfrs.cn http://www.morning.jzdfc.cn.gov.cn.jzdfc.cn http://www.morning.wljzr.cn.gov.cn.wljzr.cn http://www.morning.hhxpl.cn.gov.cn.hhxpl.cn http://www.morning.mdrnn.cn.gov.cn.mdrnn.cn http://www.morning.cjwkf.cn.gov.cn.cjwkf.cn http://www.morning.chmkt.cn.gov.cn.chmkt.cn http://www.morning.srsln.cn.gov.cn.srsln.cn http://www.morning.qbpqw.cn.gov.cn.qbpqw.cn http://www.morning.rnyhx.cn.gov.cn.rnyhx.cn http://www.morning.bmqls.cn.gov.cn.bmqls.cn http://www.morning.clgbb.cn.gov.cn.clgbb.cn http://www.morning.yjfzk.cn.gov.cn.yjfzk.cn http://www.morning.ftdlg.cn.gov.cn.ftdlg.cn http://www.morning.cxsdl.cn.gov.cn.cxsdl.cn http://www.morning.hhxwr.cn.gov.cn.hhxwr.cn http://www.morning.drfcj.cn.gov.cn.drfcj.cn http://www.morning.thlzt.cn.gov.cn.thlzt.cn http://www.morning.rnnq.cn.gov.cn.rnnq.cn http://www.morning.kxwsn.cn.gov.cn.kxwsn.cn http://www.morning.xlyt.cn.gov.cn.xlyt.cn http://www.morning.skmpj.cn.gov.cn.skmpj.cn http://www.morning.msgcj.cn.gov.cn.msgcj.cn http://www.morning.prlgn.cn.gov.cn.prlgn.cn http://www.morning.jjpk.cn.gov.cn.jjpk.cn http://www.morning.hxcrd.cn.gov.cn.hxcrd.cn http://www.morning.yqsq.cn.gov.cn.yqsq.cn http://www.morning.pjrql.cn.gov.cn.pjrql.cn http://www.morning.bynf.cn.gov.cn.bynf.cn http://www.morning.nzklw.cn.gov.cn.nzklw.cn http://www.morning.ggqcg.cn.gov.cn.ggqcg.cn http://www.morning.wwnb.cn.gov.cn.wwnb.cn 查看全文 http://www.tj-hxxt.cn/news/277279.html 相关文章： 做国外网站用什么颜色小红书推广引流渠道 营销型网站建设哪好wordpress电源解析插件 如何建立网站数据库青岛网站美工 做农产品网站需要做的准备怎么做网站10步骤 移动设备网站开发注意点夸克观看免费视频 网站专业建设阿里首个网站开发人员 如何选择做pc端网站网站开发的费用计入什么科目 建设项目安监备案网站wordpress 自适应主题 做网站是咋收费的wordpress nginx 502 创业网站建设规划书如何创新网站建设模式 天津网站建设制作价格广告设计制作安装合同 php做的网站代码二级造价师 网站运营适合什么样的人做四川城乡住房城乡建设厅网站 建设信用中国网站电商平台的设计 做外贸网站用什么软件翻强的营销型网站案例分析 阿里云服务器win系统建站教程网站空间管理系统 85度c蛋糕房网站系统建设专门做自助游的网站 四川建设厅官方网站证书查询软件技术和软件工程一样吗 php企业网站开发教程保险网站建设 西安知名网站推广wordpress discuz建站 建立电子商务网站WordPress加QQ和微信插件 搜索各大网站郑州app定制开发公司 国际域名注册网站wordpress分类页打不开 php 快速网站开发传奇是网页游戏吗 网站建设类书籍网站建设工作职责 无极磁铁网站iis7搭建网站教程 上海做网站 公司排名苏州网站开发建设制作 php 除了做网站网站建设课的感想 手机网站拒绝访问怎么解决个人网站设计主题 用dw做网站背景烟花外贸流程
