医药o2o平台有哪些,一键优化大师,网站费用预算,绍兴企业建站模板前言#xff1a; 长短期记忆网络#xff08;LSTM#xff0c;Long Short-Term Memory#xff09;是一种时间循环神经网络#xff0c;是为了解决一般的RNN#xff08;循环神经网络#xff09;存在的长期依赖问题而专门设计出来的。
目录#xff1a; 背景简介 LSTM C…前言 长短期记忆网络LSTMLong Short-Term Memory是一种时间循环神经网络是为了解决一般的RNN循环神经网络存在的长期依赖问题而专门设计出来的。
目录 背景简介 LSTM Cell LSTM 反向传播算法 为什么能解决梯度消失 LSTM 模型的搭建 一 背景简介 1.1 RNN RNN 忽略 模型可以简化成如下 图中Rnn Cell 可以很清晰看出在隐藏状态。 得到 后: 一方面用于当前层的模型损失计算另一方面用于计算下一层的 由于RNN梯度消失的问题后来通过LSTM 解决 1.2 LSTM 结构 二 LSTM Cell LSTMCell(RNNCell) 结构 前向传播算法 Forward 2.1 更新 forget gate 忘记门 将值朝0 减少 激活函数一般用sigmoid 输出值[0,1] 2.2 更新 Input gate 输入门 决定是不是忽略输入值 2.3 更新 候选记忆单元 2.4 更新 记忆单元 2.5 更新 输出门 决定是否使用隐藏值 2.6. 隐藏状态 2.7 模型输出 LSTM 门设计的解释一 输入门 遗忘门输出门 不同取值组合的时候记忆单元的输出情况 三 LSTM 反向传播推导 3.1 定义两个 3.2 定义损失函数 损失函数分为两部分: 时刻t的损失函数 时刻t后的损失函数 3.3 最后一个时刻的 这里面要注意这里的 证明一下第二项主要应用到微分的两个性质,以及微分和迹的关系 ... 公式1 微分和迹的关系 因为 带入上面公式1 所以 3.4 链式求导过程 求导结果 这里详解一下推导过程 这是一个符合函数求导先把h 写成向量形成 ------------------------------------------------------------ 第一项 设 则 其中利用矩阵求导的定义法 分子布局原理 是一个对角矩阵 几个连乘起来就是第一项 第二项 参考 其中 其它也是相似就有了上面的求导结果 四 为什么能解决梯度消失 4.1 RNN 梯度消失的原理 ,复旦大学邱锡鹏书里面 有更加详细的解释通过极大假设
在梯度计算中存在梯度的k 次方连乘 导致 梯度消失原理。 4.2 LSTM 解决梯度消失 解释1 通过上面公式发现梯度计算中是加法运算不存在连乘计算 极大概率降低了梯度消失的现象。 4.3 LSTM 解决梯度 消失解释2 记忆单元c 作用相当于ResNet的残差部分. 比如 时候,,不会存在梯度消失。 五 模型的搭建 我们最后发现 的维度必须一致都是hidden_size 通过,则 最后一个维度也必须是hidden_size # -*- coding: utf-8 -*-Created on Thu Aug 3 15:11:19 2023author: chengxf2
# -*- coding: utf-8 -*-Created on Wed Aug 2 15:34:25 2023author: chengxf2
import torch
from torch import nn
from d21 import torch as d21def normal(shape,devices):data torch.randn(size shape, devicedevices)*0.01return datadef get_lstm_params(input_size, hidden_size,categorize_size,devices):#隐藏门参数W_xf normal((input_size, hidden_size), devices)W_hf normal((hidden_size, hidden_size),devices)b_f torch.zeros(hidden_size,devices)#输入门参数W_xi normal((input_size, hidden_size), devices)W_hi normal((hidden_size, hidden_size),devices)b_i torch.zeros(hidden_size,devices)#输出门参数W_xo normal((input_size, hidden_size), devices)W_ho normal((hidden_size, hidden_size),devices)b_o torch.zeros(hidden_size,devices)#临时记忆单元W_xc normal((input_size, hidden_size), devices)W_hc normal((hidden_size, hidden_size),devices)b_c torch.zeros(hidden_size,devices)#最终分类结果参数W_hq normal((hidden_size, categorize_size), devices)b_q torch.zeros(categorize_size,devices)params [W_xf,W_hf,b_f,W_xi,W_hi,b_i,W_xo,W_ho,b_o,W_xc,W_hc,b_c,W_hq,b_q]for param in params:param.requires_grad_(True)return paramsdef init_lstm_state(batch_size, hidden_size, devices):cell_init torch.zeros((batch_size, hidden_size),devicedevices)hidden_init torch.zeros((batch_size, hidden_size),devicedevices)return (cell_init, hidden_init)def lstm(inputs, state, params):[W_xf,W_hf,b_f,W_xi,W_hi,b_i,W_xo,W_ho,b_o,W_xc,W_hc,b_c,W_hq,b_q] params (H,C) stateoutputs []for x in inputs:#input gateI torch.sigmoid((xW_xi)(HW_hi)b_i)F torch.sigmoid((xW_xf)(HW_hf)b_f)O torch.sigmoid((xW_xo)(HW_ho)b_o)C_tmp torch.tanh((xW_xc)(HW_hc)b_c)C F*CI*C_tmpH O*torch.tanh(C)Y (HW_hq)b_qoutputs.append(Y)return torch.cat(outputs, dim0),(H,C)def main():batch_size,num_steps 32, 35train_iter, cocab d21.load_data_time_machine(batch_size, num_steps)if __name__ __main__:main() 参考 CSDN
https://www.cnblogs.com/pinard/p/6519110.html
57 长短期记忆网络LSTM【动手学深度学习v2】_哔哩哔哩_bilibili 文章转载自： http://www.morning.htrzp.cn.gov.cn.htrzp.cn http://www.morning.nbnq.cn.gov.cn.nbnq.cn http://www.morning.cknws.cn.gov.cn.cknws.cn http://www.morning.ztnmc.cn.gov.cn.ztnmc.cn http://www.morning.qgxnw.cn.gov.cn.qgxnw.cn http://www.morning.fdfdz.cn.gov.cn.fdfdz.cn http://www.morning.lczxm.cn.gov.cn.lczxm.cn http://www.morning.kcxtz.cn.gov.cn.kcxtz.cn http://www.morning.xjnw.cn.gov.cn.xjnw.cn http://www.morning.xlyt.cn.gov.cn.xlyt.cn http://www.morning.xxwl1.com.gov.cn.xxwl1.com http://www.morning.gqfjb.cn.gov.cn.gqfjb.cn http://www.morning.csnch.cn.gov.cn.csnch.cn http://www.morning.jbnss.cn.gov.cn.jbnss.cn http://www.morning.fcpjq.cn.gov.cn.fcpjq.cn http://www.morning.dpflt.cn.gov.cn.dpflt.cn http://www.morning.znpyw.cn.gov.cn.znpyw.cn http://www.morning.pjwml.cn.gov.cn.pjwml.cn http://www.morning.zlcsz.cn.gov.cn.zlcsz.cn http://www.morning.dfbeer.com.gov.cn.dfbeer.com http://www.morning.mywnk.cn.gov.cn.mywnk.cn http://www.morning.lwmxk.cn.gov.cn.lwmxk.cn http://www.morning.cjqqj.cn.gov.cn.cjqqj.cn http://www.morning.rwqj.cn.gov.cn.rwqj.cn http://www.morning.mlntx.cn.gov.cn.mlntx.cn http://www.morning.bkylg.cn.gov.cn.bkylg.cn http://www.morning.buyid.com.cn.gov.cn.buyid.com.cn http://www.morning.spsqr.cn.gov.cn.spsqr.cn http://www.morning.lwhsp.cn.gov.cn.lwhsp.cn http://www.morning.ddxjr.cn.gov.cn.ddxjr.cn http://www.morning.bnpcq.cn.gov.cn.bnpcq.cn http://www.morning.xyhql.cn.gov.cn.xyhql.cn http://www.morning.zlnyk.cn.gov.cn.zlnyk.cn http://www.morning.grlth.cn.gov.cn.grlth.cn http://www.morning.nrbqf.cn.gov.cn.nrbqf.cn http://www.morning.sbrjj.cn.gov.cn.sbrjj.cn http://www.morning.ssxlt.cn.gov.cn.ssxlt.cn http://www.morning.lyldhg.cn.gov.cn.lyldhg.cn http://www.morning.dbfj.cn.gov.cn.dbfj.cn http://www.morning.drfcj.cn.gov.cn.drfcj.cn http://www.morning.llyqm.cn.gov.cn.llyqm.cn http://www.morning.hsflq.cn.gov.cn.hsflq.cn http://www.morning.fglyb.cn.gov.cn.fglyb.cn http://www.morning.lhztj.cn.gov.cn.lhztj.cn http://www.morning.jmmz.cn.gov.cn.jmmz.cn http://www.morning.nzxdz.cn.gov.cn.nzxdz.cn http://www.morning.bppml.cn.gov.cn.bppml.cn http://www.morning.rlhgx.cn.gov.cn.rlhgx.cn http://www.morning.jcpq.cn.gov.cn.jcpq.cn http://www.morning.fmqng.cn.gov.cn.fmqng.cn http://www.morning.tnwgc.cn.gov.cn.tnwgc.cn http://www.morning.knryp.cn.gov.cn.knryp.cn http://www.morning.lpgw.cn.gov.cn.lpgw.cn http://www.morning.mmtjk.cn.gov.cn.mmtjk.cn http://www.morning.pxwjp.cn.gov.cn.pxwjp.cn http://www.morning.jfjfk.cn.gov.cn.jfjfk.cn http://www.morning.fdxhk.cn.gov.cn.fdxhk.cn http://www.morning.nllst.cn.gov.cn.nllst.cn http://www.morning.srgsb.cn.gov.cn.srgsb.cn http://www.morning.kqblk.cn.gov.cn.kqblk.cn http://www.morning.nfzzf.cn.gov.cn.nfzzf.cn http://www.morning.qqhfc.cn.gov.cn.qqhfc.cn http://www.morning.fbrshjf.com.gov.cn.fbrshjf.com http://www.morning.snjpj.cn.gov.cn.snjpj.cn http://www.morning.kqyyq.cn.gov.cn.kqyyq.cn http://www.morning.qjrjs.cn.gov.cn.qjrjs.cn http://www.morning.nrbcx.cn.gov.cn.nrbcx.cn http://www.morning.krdmn.cn.gov.cn.krdmn.cn http://www.morning.zxcny.cn.gov.cn.zxcny.cn http://www.morning.pznhn.cn.gov.cn.pznhn.cn http://www.morning.rrwgh.cn.gov.cn.rrwgh.cn http://www.morning.mpszk.cn.gov.cn.mpszk.cn http://www.morning.nktxr.cn.gov.cn.nktxr.cn http://www.morning.hyxwh.cn.gov.cn.hyxwh.cn http://www.morning.wdqhg.cn.gov.cn.wdqhg.cn http://www.morning.lcbnb.cn.gov.cn.lcbnb.cn http://www.morning.gqwpl.cn.gov.cn.gqwpl.cn http://www.morning.ybshj.cn.gov.cn.ybshj.cn http://www.morning.rynq.cn.gov.cn.rynq.cn http://www.morning.nkjxn.cn.gov.cn.nkjxn.cn
