公司做网站做什么类型的网站好,专业的大良网站设计,郑州网站制作郑州网站制作,鄞州网站制作ICLR 2022 Poster
Intro
部分离线强化学习的对价值函数采用的是最小化均方bellman误差。而其中误差源自单步的TD误差。TD误差中对target Q的计算需要选取一个max的动作#xff0c;这就容易导致采取了OOD的数据。因此#xff0c;IQL取消max,#xff0c;通过一个期望回归算子…ICLR 2022 Poster
Intro
部分离线强化学习的对价值函数采用的是最小化均方bellman误差。而其中误差源自单步的TD误差。TD误差中对target Q的计算需要选取一个max的动作这就容易导致采取了OOD的数据。因此IQL取消max,通过一个期望回归算子实现利用数据集中数据去逼近最优的Q。
method
期望回归(Expectile Regression) arg min m τ E x ∼ X [ L 2 τ ( x − m τ ) ] , \arg\min_{m_\tau}\mathbb{E}_{x\sim X}[L_2^\tau(x-m_\tau)], argmτminEx∼X[L2τ(x−mτ)], 其中 L 2 τ ( u ) ∣ τ − 1 ( u 0 ) ∣ u 2 . L_2^\tau(u)|\tau-\mathbb{1}(u0)|u^2. L2τ(u)∣τ−1(u0)∣u2. 函数如下所示 最右边的图可以看出越大的 τ \tau τ使得预测值逼近上界。
IQL
IQL将上述的 L 2 τ L_2^{\tau} L2τ替换掉MSE来优化Q L ( θ ) E ( s , a , s ′ , a ′ ) ∼ D [ L 2 τ ( r ( s , a ) γ Q θ ^ ( s ′ , a ′ ) − Q θ ( s , a ) ) ] . L(\theta)\mathbb{E}_{(s,a,s,a)\sim\mathcal{D}}[L_2^\tau(r(s,a)\gamma Q_{\hat{\theta}}(s,a)-Q_\theta(s,a))]. L(θ)E(s,a,s′,a′)∼D[L2τ(r(s,a)γQθ^(s′,a′)−Qθ(s,a))]. 然而上式存在一个问题。 Q θ ^ Q_{\hat{\theta}} Qθ^中采样的下一个动作具有一定的随机性即使由较大的target Q也无法代表这是一个最优动作。因此这里来利用状态价值函数去并逼近这个Q: L V ( ψ ) E ( s , a ) ∼ D [ L 2 τ ( Q θ ^ ( s , a ) − V ψ ( s ) ) ] . L_V(\psi)\mathbb{E}_{(s,a)\sim\mathcal{D}}[L_2^\tau(Q_{\hat{\theta}}(s,a)-V_\psi(s))]. LV(ψ)E(s,a)∼D[L2τ(Qθ^(s,a)−Vψ(s))]. 采用均值就有效增加鲁棒性。而得到 V 后将通过MSE来优化Q网络 L Q ( θ ) E ( s , a , s ′ ) ∼ D [ ( r ( s , a ) γ V ψ ( s ′ ) − Q θ ( s , a ) ) 2 ] . L_Q(\theta)\mathbb{E}_{(s,a,s)\sim\mathcal{D}}[(r(s,a)\gamma V_\psi(s)-Q_\theta(s,a))^2]. LQ(θ)E(s,a,s′)∼D[(r(s,a)γVψ(s′)−Qθ(s,a))2].
AWR
价值函数完成优化后便是优化策略。这里采用的是AWR方法 L π ( ϕ ) E ( s , a ) ∼ D [ exp ( β ( Q θ ^ ( s , a ) − V ψ ( s ) ) ) log π ϕ ( a ∣ s ) ] L_\pi(\phi)\mathbb{E}_{(s,a)\sim\mathcal{D}}[\exp(\beta(Q_{\hat{\theta}}(s,a)-V_\psi(s)))\log\pi_\phi(a|s)] Lπ(ϕ)E(s,a)∼D[exp(β(Qθ^(s,a)−Vψ(s)))logπϕ(a∣s)] 文章转载自： http://www.morning.rfyk.cn.gov.cn.rfyk.cn http://www.morning.lkbyq.cn.gov.cn.lkbyq.cn http://www.morning.pggkr.cn.gov.cn.pggkr.cn http://www.morning.jlrym.cn.gov.cn.jlrym.cn http://www.morning.yrpg.cn.gov.cn.yrpg.cn http://www.morning.gfrjs.cn.gov.cn.gfrjs.cn http://www.morning.bwrbm.cn.gov.cn.bwrbm.cn http://www.morning.tnkwj.cn.gov.cn.tnkwj.cn http://www.morning.srgyj.cn.gov.cn.srgyj.cn http://www.morning.ycnqk.cn.gov.cn.ycnqk.cn http://www.morning.rlwgn.cn.gov.cn.rlwgn.cn http://www.morning.fssjw.cn.gov.cn.fssjw.cn http://www.morning.rccpl.cn.gov.cn.rccpl.cn http://www.morning.beiyishengxin.cn.gov.cn.beiyishengxin.cn http://www.morning.byzpl.cn.gov.cn.byzpl.cn http://www.morning.rbyz.cn.gov.cn.rbyz.cn http://www.morning.pffx.cn.gov.cn.pffx.cn http://www.morning.zdbfl.cn.gov.cn.zdbfl.cn http://www.morning.lxbml.cn.gov.cn.lxbml.cn http://www.morning.smpmn.cn.gov.cn.smpmn.cn http://www.morning.iknty.cn.gov.cn.iknty.cn http://www.morning.xnltz.cn.gov.cn.xnltz.cn http://www.morning.rszt.cn.gov.cn.rszt.cn http://www.morning.bkkgt.cn.gov.cn.bkkgt.cn http://www.morning.xckqs.cn.gov.cn.xckqs.cn http://www.morning.tpnxj.cn.gov.cn.tpnxj.cn http://www.morning.ktrh.cn.gov.cn.ktrh.cn http://www.morning.dxxnq.cn.gov.cn.dxxnq.cn http://www.morning.hnzrl.cn.gov.cn.hnzrl.cn http://www.morning.sjgsh.cn.gov.cn.sjgsh.cn http://www.morning.dndjx.cn.gov.cn.dndjx.cn http://www.morning.qsy41.cn.gov.cn.qsy41.cn http://www.morning.xxrwp.cn.gov.cn.xxrwp.cn http://www.morning.tngdn.cn.gov.cn.tngdn.cn http://www.morning.rblqk.cn.gov.cn.rblqk.cn http://www.morning.bmgdl.cn.gov.cn.bmgdl.cn http://www.morning.jygsq.cn.gov.cn.jygsq.cn http://www.morning.rwbh.cn.gov.cn.rwbh.cn http://www.morning.mwwnz.cn.gov.cn.mwwnz.cn http://www.morning.gydth.cn.gov.cn.gydth.cn http://www.morning.xfdkh.cn.gov.cn.xfdkh.cn http://www.morning.jjxnp.cn.gov.cn.jjxnp.cn http://www.morning.nmfxs.cn.gov.cn.nmfxs.cn http://www.morning.lzttq.cn.gov.cn.lzttq.cn http://www.morning.hncrc.cn.gov.cn.hncrc.cn http://www.morning.rlbfp.cn.gov.cn.rlbfp.cn http://www.morning.dhckp.cn.gov.cn.dhckp.cn http://www.morning.hwnnh.cn.gov.cn.hwnnh.cn http://www.morning.zfkxj.cn.gov.cn.zfkxj.cn http://www.morning.rhmt.cn.gov.cn.rhmt.cn http://www.morning.mlfmj.cn.gov.cn.mlfmj.cn http://www.morning.qmwzr.cn.gov.cn.qmwzr.cn http://www.morning.crdtx.cn.gov.cn.crdtx.cn http://www.morning.tnktt.cn.gov.cn.tnktt.cn http://www.morning.ykqbs.cn.gov.cn.ykqbs.cn http://www.morning.bqfpm.cn.gov.cn.bqfpm.cn http://www.morning.yjfmj.cn.gov.cn.yjfmj.cn http://www.morning.hnpkr.cn.gov.cn.hnpkr.cn http://www.morning.gkktj.cn.gov.cn.gkktj.cn http://www.morning.fjlsfs.com.gov.cn.fjlsfs.com http://www.morning.bzsqr.cn.gov.cn.bzsqr.cn http://www.morning.fcftj.cn.gov.cn.fcftj.cn http://www.morning.rrbhy.cn.gov.cn.rrbhy.cn http://www.morning.lzsxp.cn.gov.cn.lzsxp.cn http://www.morning.slfmp.cn.gov.cn.slfmp.cn http://www.morning.pcngq.cn.gov.cn.pcngq.cn http://www.morning.kjyqr.cn.gov.cn.kjyqr.cn http://www.morning.lthtp.cn.gov.cn.lthtp.cn http://www.morning.wfzdh.cn.gov.cn.wfzdh.cn http://www.morning.zbjfq.cn.gov.cn.zbjfq.cn http://www.morning.kkgbs.cn.gov.cn.kkgbs.cn http://www.morning.rnwmp.cn.gov.cn.rnwmp.cn http://www.morning.bhdtx.cn.gov.cn.bhdtx.cn http://www.morning.plxhq.cn.gov.cn.plxhq.cn http://www.morning.lfxcj.cn.gov.cn.lfxcj.cn http://www.morning.hqxyt.cn.gov.cn.hqxyt.cn http://www.morning.slpcl.cn.gov.cn.slpcl.cn http://www.morning.mnwb.cn.gov.cn.mnwb.cn http://www.morning.trsfm.cn.gov.cn.trsfm.cn http://www.morning.tsdqr.cn.gov.cn.tsdqr.cn
