调查网站怎么做,dt高端网站设计,深圳外贸公司倒闭,校园推广文案之前我们介绍了循环神经网络的原理以及实现。但是循环神经网络有一个问题#xff0c;也就是长期依赖问题。我们之前的01序列预测案例中可以看到#xff0c;当序列长度到达10以上之后错误就会增多#xff0c;说明简单的RNN记忆容量较小#xff0c;当长度更大时就不怎么适用了…之前我们介绍了循环神经网络的原理以及实现。但是循环神经网络有一个问题也就是长期依赖问题。我们之前的01序列预测案例中可以看到当序列长度到达10以上之后错误就会增多说明简单的RNN记忆容量较小当长度更大时就不怎么适用了。本质上是由于随时间反向传播算法当序列长度太长后产生的梯度爆炸和梯度消失问题导致的。具体推导可以参见邱锡鹏的《神经网络与深度学习》6.5节。
从算法顺序来说是先有LSTM再有GRU的不过由于LSTM比较复杂且名气也更大因此我们先来看一下LSTM长短期记忆网络。
简单的来说LSTM算法引入了三个门来解决这个问题一个输入门input一个遗忘门forget一个输出门output。在每个时刻tLSTM网络的内部状态ct记录了到当前时刻为止的历史信息。 这里ft代表遗忘门it代表输入门ot代表输出门ct代表上一个时刻的历史信息乘以遗忘门决定是否要遗忘再加上通过非线性函数得到的候选状态。 LSTM每个门取值都在01之间ct在-11之间候选状态也是在-11之间ht也是在-11之间。
遗忘门ft控制上一个时刻的内部状态ct-1需要遗忘多少信息。输入门it控制当前时刻的候选状态ct~多少信息需要保存。输出门ot控制当前时刻的内部状态ct有多少信息需要输出给外部状态ht。
当ft0,it1时记忆单元将历史信息清空并将候选状态向量ct~写入但此时记忆单元ct依然和上一时刻的历史信息相关因为ct~的计算还是有ht-1参与的。当ft1,it0时记忆单元将复制上一时刻的内容不写入新的信息。
三个门的计算公式分别为 LSTM总体结构如下图所示 首先利用上一时刻的外部状态ht−1和当前时刻的输入xt计算出三个门it,ft,ot以及候选状态 ct~结合遗忘门ft和输入门it来更新记忆单元ct结合输出门ot将内部状态的信息传递给外部状态ht。
循环神经网络中的隐状态h存储了历史信息可以看作是一种“记忆”在简单循环神经网络中隐状态每个时刻都被会重写可以看作是一种短期记忆。在神经网络中网络参数可以看作是长期记忆隐含了从训练数据中学到的经验并且更新周期要远远慢于短期记忆。LSTM中的ct可以在某个时刻捕捉到某个关键信息并有能力将此关键信息保存一定的时间间隔。ct中保存信息的生命周期要长于短期记忆h又远远短于长期记忆所以被称作是长短期记忆网络LSTM。
下面我们来自己实现一下这个网络。
class LSTM(nn.Module):def __init__(self, input_size, num_hiddens, batch_firstTrue):super(LSTM,self).__init__()def normal(shape):return torch.randn(size shape)*0.01def three(): # 定义输入的权重隐藏神经元的权重截距的权重wx normal((input_size, num_hiddens)) wh normal((num_hiddens, num_hiddens))b torch.zeros(num_hiddens)return (wx,wh,b)W_xi, W_hi, b_i three() # 输入门参数W_xf, W_hf, b_f three() # 遗忘门参数W_xo, W_ho, b_o three() # 输出门参数W_xc, W_hc, b_c three() # C,候选记忆参数# 输出层参数W_hq normal((num_hiddens, num_hiddens))b_q torch.zeros(num_hiddens)self.params [W_xi, W_hi, b_i, W_xf, W_hf, b_f, W_xo, W_ho, b_o, W_xc, W_hc, b_c, W_hq, b_q]self.batch_first batch_firstself.num_hiddens num_hiddensdef forward(self,inputs):# 获取各种预定义的权重[W_xi, W_hi, b_i, W_xf, W_hf, b_f, W_xo, W_ho, b_o, W_xc, W_hc, b_c, W_hq, b_q] self.params# 如果第一个维度是批量大小batch_size则第二个维度是序列长度否则第一个维度是序列长度if self.batch_first:batch_size inputs.shape[0]seq_len inputs.shape[1] # 序列长度else:batch_size inputs.shape[1]seq_len inputs.shape[0] # 序列长度# 初始化状态stateself.h torch.zeros((seq_len, self.num_hiddens))self.c torch.zeros((seq_len, self.num_hiddens))H self.hC self.coutputs []for X in inputs: # 这里遍历的其实就是批量batchX就是一个批量的输入# 输入门的计算I torch.sigmoid((XW_xi) (HW_hi) b_i)# 遗忘门的计算F torch.sigmoid((XW_xf) (HW_hf) b_f)# 输出门的计算O torch.sigmoid((XW_xo) (HW_ho) b_o)# 候选状态的计算C_tilda torch.tanh((XW_xc) (HW_hc) b_c)# 记忆单元的计算C F*C I*C_tilda# 输出的隐藏层权重H O*torch.tanh(C)# 得到输出的结果Y HW_hq b_q# 把每个批量的输出添加到数组outputs中outputs.append(Y)# 根据第0维进行拼接out torch.cat(outputs, dim0)# 恢复成输入的batch_size大小out out.reshape(batch_size,seq_len,self.num_hiddens)return out,(H,C)
# 我们构建一个输入维度位120个隐藏单元默认一个隐藏层输入的第一维度是batch_size
net LSTM(input_size1, num_hiddens20, batch_firstTrue)
# 输入数据第一维度是batch_size8第二个维度是序列长度为10第三个维度是input_size1
data torch.zeros(8,10,1)
out,ht net(data)
print(out.shape)
print(out[:,-1,:].shape)
# 输出
# 第一维度batch_size10第二维度是序列长度10第三维度是隐藏神经元的个数20
torch.Size([8, 10, 20])
torch.Size([8, 20])
我们可以用pytorch框架提供的LSTM模型和我们自己定义的LSTM对照一下
input_size 1
num_hiddens 20lstmnn.LSTM(input_sizeinput_size, #输入特征维度,当前特征为股价维度为1hidden_sizenum_hiddens, #隐藏层神经元个数或者也叫输出的维度num_layers1, # 隐藏层数量batch_firstTrue
# 输入数据的第一维度是batch_size)
data torch.zeros(8, 10, 1)
out,ht lstm(data)
print(out.shape)
print(out[:,-1,:].shape)
print(ht[0].shape)
print(ht[1].shape)
# 输出
torch.Size([8, 10, 20])
torch.Size([8, 20])
torch.Size([1, 8, 20])
torch.Size([1, 8, 20])
可以看到pytorch框架提供的LSTM方法和我们自定义的LSTM方法的输出大小是一样的。下面我们可以根据LSTM的输出去做自己需要的事情假设我们需要根据输入的序列数据来预测序列数据的下一位我们可以定义如下的神经网络模型
class model(nn.Module): def __init__(self, input_size, hidden_size, output_size): super(model, self).__init__() self.hidden_size hidden_size self.lstm LSTM(input_size, hidden_size, batch_firstTrue) self.fc nn.Linear(hidden_size, output_size) def forward(self, x): out, _ self.lstm(x)out self.fc(out[:, -1, :])#print(out.shape : ,out.shape)return out
可以看到我们调用了LSTM模块并把输出结果再进行了一次线性全连接操作得到了符合输出大小的结果。我们用一个数据来测试一下输出
# 定义一个input_size1,hidden_size1,output_size1的模型
net model(1, 20, 1)
# 定义一个输入,batch_size8,序列长度seq_len4,input_size1
data torch.zeros(8, 4, 1)
out net(data)
print(out.shape)
# 输出
torch.Size([8, 1])
可以看到输出的大小是[8,1]第0维是8batch_size,输出就是一个数值我们可以利用这个输出去跟标签对比求得loss就可以训练了。
下面我们将之前《循环神经网络简介》一文中介绍的根据正弦函数的前四个输入来预测下一个输出值的案例来重新实现一下改成用自定义的LSTM。
假设我们有一个预先定义的正弦函数数据
import matplotlib.pyplot as plt# 画出sin函数作为序列函数
y []
for i in range(1000):y.append(np.sin(0.01*i)np.random.normal(0,0.2)) # 给sin函数增加一个微小的扰动
x [i for i in range(1000)]plt.plot(x, y)
plt.show() 选择1000个样本作为训练数据
total 1000
tau 4
features np.zeros((total-tau, tau))
data [i for i in range(total)]
for i in range(tau):features[:,i] y[i:total-taui] # 获取到每一列的特征值
print(len(features)) # 样本个数
print(features) # 输出特征值
定义数据集Dataset和DataLoader
# 用前600个数字作为训练集后400个作为测试集
class myDataset(Dataset):def __init__(self, tau4, total600, transformNone):data [i for i in range(total)]y []for i in range(total):y.append(np.sin(0.01*i)np.random.normal(0,0.2)) # 给sin函数增加一个微小的扰动# tau代表用多少个数字来作为输入默认为4self.features np.zeros((total-tau, tau)) # 构建了996行4列的输入序列代表了996个训练样本每个样本有4个数字构成for i in range(tau):self.features[:,i] y[i: total-taui] # 给特征向量赋值self.data dataself.transform transformself.labels y[tau:]def __len__(self):return len(self.labels)def __getitem__(self, idx):return self.features[idx], self.labels[idx]
transform transforms.Compose([transforms.ToTensor()])
trainDataset myDataset(transformtransform)
train_loader DataLoader(datasettrainDataset, batch_size32, shuffleFalse)
定义一个训练方法
def train(epochs1000):net model(1, 20, 1)criterion nn.MSELoss()optimizer torch.optim.Adam(net.parameters(), lr0.01)for epoch in range(epochs):total_loss 0.0for i, (x, y) in enumerate(train_loader):x Variable(x)x x.to(torch.float32)# unsqueeze是在最后增加一个维度否则x的shape是[32,4]x x.unsqueeze(2)
# x的维度现在变成[32,4,1] y Variable(y)y y.to(torch.float32)# unsqueeze是在最后增加一个维度,否则输出shape是[32]y y.unsqueeze(1) # 输出shape是[32,1]optimizer.zero_grad()outputs net(x)loss criterion(outputs, y)total_loss loss.sum() # 因为标签值和输出都是一个张量所以损失值要求和loss.sum().backward()optimizer.step()if (epoch1)%500:print(Epoch {}, Loss: {:.4f}.format(epoch1, total_loss/len(trainDataset)))torch.save(net, lstm.pt)
train(epochs1000) # 训练1000个epochs
# 输出
Epoch 50, Loss: 0.0170
Epoch 100, Loss: 0.0156
Epoch 150, Loss: 0.0144
Epoch 200, Loss: 0.0132
Epoch 250, Loss: 0.0121
Epoch 300, Loss: 0.0110
Epoch 350, Loss: 0.0100
Epoch 400, Loss: 0.0091
Epoch 450, Loss: 0.0082
Epoch 500, Loss: 0.0074
Epoch 550, Loss: 0.0067
Epoch 600, Loss: 0.0060
Epoch 650, Loss: 0.0053
Epoch 700, Loss: 0.0048
Epoch 750, Loss: 0.0042
Epoch 800, Loss: 0.0038
Epoch 850, Loss: 0.0034
Epoch 900, Loss: 0.0030
Epoch 950, Loss: 0.0027
Epoch 1000, Loss: 0.0025
结果验证
# 预测
net torch.load(lstm.pt)
features torch.from_numpy(features)
features features.float()
features features.unsqueeze(2)
y_pred net(features)
# 画出sin函数作为序列函数
y []
for i in range(996):y.append(np.sin(0.01*i)np.random.normal(0,0.2))
x [i for i in range(996)]fig, ax plt.subplots()
ax.plot(x, y) # 画出输入数据
ax.plot(x, y_pred.detach().numpy(), colory) #画出预测数据
plt.show() 可以看到预测的结果和原始数据拟合较好与我们前面使用的RNN网络模型结果类似。 文章转载自： http://www.morning.wknjy.cn.gov.cn.wknjy.cn http://www.morning.xflzm.cn.gov.cn.xflzm.cn http://www.morning.sxtdh.com.gov.cn.sxtdh.com http://www.morning.hxpff.cn.gov.cn.hxpff.cn http://www.morning.rbbyd.cn.gov.cn.rbbyd.cn http://www.morning.ndyrb.com.gov.cn.ndyrb.com http://www.morning.smdkk.cn.gov.cn.smdkk.cn http://www.morning.bttph.cn.gov.cn.bttph.cn http://www.morning.pmhln.cn.gov.cn.pmhln.cn http://www.morning.ptqpd.cn.gov.cn.ptqpd.cn http://www.morning.wyppp.cn.gov.cn.wyppp.cn http://www.morning.rkxqh.cn.gov.cn.rkxqh.cn http://www.morning.rjljb.cn.gov.cn.rjljb.cn http://www.morning.kyytt.cn.gov.cn.kyytt.cn http://www.morning.yccnj.cn.gov.cn.yccnj.cn http://www.morning.nlqgb.cn.gov.cn.nlqgb.cn http://www.morning.rkdnm.cn.gov.cn.rkdnm.cn http://www.morning.kkzwn.cn.gov.cn.kkzwn.cn http://www.morning.jsxrm.cn.gov.cn.jsxrm.cn http://www.morning.dbfj.cn.gov.cn.dbfj.cn http://www.morning.ftmzy.cn.gov.cn.ftmzy.cn http://www.morning.xmjzn.cn.gov.cn.xmjzn.cn http://www.morning.lhqw.cn.gov.cn.lhqw.cn http://www.morning.zcncb.cn.gov.cn.zcncb.cn http://www.morning.khcpx.cn.gov.cn.khcpx.cn http://www.morning.zbnts.cn.gov.cn.zbnts.cn http://www.morning.xzgbj.cn.gov.cn.xzgbj.cn http://www.morning.fkyqt.cn.gov.cn.fkyqt.cn http://www.morning.cywf.cn.gov.cn.cywf.cn http://www.morning.tkjh.cn.gov.cn.tkjh.cn http://www.morning.rltsx.cn.gov.cn.rltsx.cn http://www.morning.gynls.cn.gov.cn.gynls.cn http://www.morning.bqdgr.cn.gov.cn.bqdgr.cn http://www.morning.ldmtq.cn.gov.cn.ldmtq.cn http://www.morning.fdfsh.cn.gov.cn.fdfsh.cn http://www.morning.brcdf.cn.gov.cn.brcdf.cn http://www.morning.bwznl.cn.gov.cn.bwznl.cn http://www.morning.mrxqd.cn.gov.cn.mrxqd.cn http://www.morning.ygkk.cn.gov.cn.ygkk.cn http://www.morning.mstrb.cn.gov.cn.mstrb.cn http://www.morning.lmrcq.cn.gov.cn.lmrcq.cn http://www.morning.wflpj.cn.gov.cn.wflpj.cn http://www.morning.tbqxh.cn.gov.cn.tbqxh.cn http://www.morning.qbzfp.cn.gov.cn.qbzfp.cn http://www.morning.kcrw.cn.gov.cn.kcrw.cn http://www.morning.nyjgm.cn.gov.cn.nyjgm.cn http://www.morning.nchlk.cn.gov.cn.nchlk.cn http://www.morning.stprd.cn.gov.cn.stprd.cn http://www.morning.rcttz.cn.gov.cn.rcttz.cn http://www.morning.pzqnj.cn.gov.cn.pzqnj.cn http://www.morning.drkk.cn.gov.cn.drkk.cn http://www.morning.jghty.cn.gov.cn.jghty.cn http://www.morning.gzzncl.cn.gov.cn.gzzncl.cn http://www.morning.tpmnq.cn.gov.cn.tpmnq.cn http://www.morning.kfclh.cn.gov.cn.kfclh.cn http://www.morning.ysgnb.cn.gov.cn.ysgnb.cn http://www.morning.mlbdr.cn.gov.cn.mlbdr.cn http://www.morning.gwjsm.cn.gov.cn.gwjsm.cn http://www.morning.wgqtt.cn.gov.cn.wgqtt.cn http://www.morning.qfkdt.cn.gov.cn.qfkdt.cn http://www.morning.fnzbx.cn.gov.cn.fnzbx.cn http://www.morning.lxqyf.cn.gov.cn.lxqyf.cn http://www.morning.txhls.cn.gov.cn.txhls.cn http://www.morning.epeij.cn.gov.cn.epeij.cn http://www.morning.ftync.cn.gov.cn.ftync.cn http://www.morning.mtyhk.cn.gov.cn.mtyhk.cn http://www.morning.qnxtz.cn.gov.cn.qnxtz.cn http://www.morning.bxyzr.cn.gov.cn.bxyzr.cn http://www.morning.knsmh.cn.gov.cn.knsmh.cn http://www.morning.tqrxm.cn.gov.cn.tqrxm.cn http://www.morning.clkjn.cn.gov.cn.clkjn.cn http://www.morning.ctlzf.cn.gov.cn.ctlzf.cn http://www.morning.nbqwr.cn.gov.cn.nbqwr.cn http://www.morning.mjbnp.cn.gov.cn.mjbnp.cn http://www.morning.ywqw.cn.gov.cn.ywqw.cn http://www.morning.wjlkz.cn.gov.cn.wjlkz.cn http://www.morning.zrqs.cn.gov.cn.zrqs.cn http://www.morning.jwlmm.cn.gov.cn.jwlmm.cn http://www.morning.qwlml.cn.gov.cn.qwlml.cn http://www.morning.hbxnb.cn.gov.cn.hbxnb.cn
