当前位置：首页 > news >正文

山西建设机械网站高校思政网站建设意义

news 2025/11/5 2:21:36

山西建设机械网站,高校思政网站建设意义,网站内容及实现方式,网站更换程序视频链接#xff1a;6 循环神经网络_哔哩哔哩_bilibili 给神经网络增加记忆能力对全连接层而言#xff0c;输入输出的维数固定#xff0c;因此无法处理序列信息对卷积层而言#xff0c;因为卷积核的参数是共享的#xff0c;所以卷积操作与序列的长度无关。但是因为卷积…视频链接6 循环神经网络_哔哩哔哩_bilibili 给神经网络增加记忆能力对全连接层而言输入输出的维数固定因此无法处理序列信息对卷积层而言因为卷积核的参数是共享的所以卷积操作与序列的长度无关。但是因为卷积层的后面往往会跟着一些全连接层从而导致卷积层的输出不能任意改变这是一个有限状态自动机遇到不同的输入会跳到另一个状态上去从这不难看出当前结果的输出不仅依赖于当前时刻的输入还依赖于上一时刻所处的状态这是一个图灵机一种抽象的数学模型可以用来模拟任何可计算问题输出不单单依靠输入同时也与控制器的行为、纸带上存下来的信息等有关比起有限状态自动机更加复杂对于有限状态机我们可以改造前馈网络实现。但是对于更加复杂的图灵机就不能仅依靠改造前馈网络实现而是需要引入记忆能力当前的输入经过z延时单元就得到了上一时刻的信息第一个隐藏层中的t-2是由输入层中的t-2与t-3得到的t-1是由t-1、t-2、t-3得到的t同理自回归模型w0是偏置wk是权重当前时刻的yt由前k个时刻的yt-k加权得到非线性自回归模型自回归模型没有外部输入只是y自己预测自己。因此非线性自回归模型引入了非线性函数x是输入y是输出做到了通过时间序列的输入与时间序列的输出一起预测循环神经网络通过上一时刻的状态与当前时刻的输入计算当前时刻的状态 Q循环神经网络与时延神经网络和自回归模型在记忆方式上的差异 A循环神经网络RNN具有短期记忆能力可以通过递归的方式对序列数据中的依赖关系进行建模。RNN 的记忆能力来源于网络中的递归结构它能够记住最近几个时间点的输入信息。然而随着时间的推移RNN 的记忆能力会逐渐减弱。时延神经网络DTNN具有长期记忆能力它通过在时间轴上增加延迟连接来实现对长期依赖关系的建模。DTNN 可以在一定程度上克服 RNN 记忆能力有限的问题但由于其结构复杂训练和计算成本较高。自回归模型AR是一种基于 AR 过程的线性模型它通过自回归系数矩阵来描述过去时刻观测值之间的依赖关系。AR 模型可以看作是一种特殊的 DTNN其记忆能力取决于自回归系数矩阵的规模。 RNN在时间维度上是很深的网络但是在非时间维度上却是很浅的网络。因为在时间维度上过深所以需要考虑梯度消失的问题因为在非时间维度上过浅所以需要考虑增加模型的复杂度如果我们认为前馈神经网络可以模拟任何函数的话那么循环神经网络就可以模拟任何程序应用到机器学习序列到类别两种常见的方法情感分类因为文本是一个变长的序列把每个字看成不同时刻的输入(一个词向量)所以可以使用RNN 把不同字的状态拼到一起送到分类器中得到不同的结果同步的序列到序列模式输入一个序列输出一个序列且输入输出之间有对应关系中文分词把一句话以词为单位分隔开示例中的这句话分词应为他说的确实在理但是在中文中的确是一个词实在是一个词词语分隔存在歧义性在机器学习中我们把这个任务变成一个序列标注的任务S表示单个词语B表示一个词语的开始E表示一个词语的结束在RNN中我们直接把词向量输入RNN得到结果就行了信息抽取 CRF是条件随机场抽取小米——品牌雷军——人名2015年——时间等信息语音识别异步的序列到序列模式左边输入x得到状态可以看作是编码器encoder EOS表示上一个序列的结束右边的状态是通过上一时刻的状态与上一时刻的输出得到的没有输入x可以看作是解码器decoder 右边y影响h是自回归的方法h影响h是RNN的方法机器翻译参数学习与长程依赖问题随时间反向传播对误差在时间维度上求和就得到了总误差因此反向传播时也可分为不同时刻的反向传播结果U的结果求和 Lt对U求偏导就是第t时刻的loss对(第k时刻的zk的导数)*(上一时刻隐藏状态的转置)求和按照链式法则展开为上图所示长程依赖问题将链式法则求出的式子继续展开得到(t-k个激活函数的导数的对角矩阵乘U的转置)再乘Lt对zt的偏导由于f(zτ)是一个有界函数U是共享的参数所以把他们近似看作γ 因此δt,k近似等于γ^t-kδt,t当γ1时若t时刻距离k时刻很长则会梯度爆炸反之则会梯度消失所以实际上只能学到短周期的时间依赖关系如何解决长程依赖问题我们希望γ1首先把f的非线性f去掉也就是让htUht-1Wxtb这样使得f’为1。接下来把U变成1也就是单位矩阵因此htht-1Wxtb此时的γ1 如图所示激活函数g是对Wxtb引入非线性但是由于ht-1与ht之间变成了线性关系导致模型能力变差进一步改进后面的g(xt,ht-1;θ)其实就是原来的f(Uht-1Wxtb)这样改进既保留了非线性又解决了梯度的问题当激活函数g选取sigmoid、relu等一直为正的激活函数加上ht-1是一个累计的状态(不断增大) 例如当激活函数为sigmoid时由于h不断累计导致g(xt,ht-1;θ)趋近0或1而出现梯度消失从而导致难以向网络增加新的信息。因此我们可以在ht-1中选择性地丢弃一些信息接下来会给大家介绍两种基于门控的方法残差如果把g(xt,ht-1;θ)中的xt去掉得到ht g(ht-1;θ)这个式子与残差网络是十分相似的都解决了梯度消失的问题 GRU与LSTM GRU zt是一个与h维度相同的向量每一维都在0~1之间用sigmoid激活函数 g用得到是tanh激活函数将0~1变成-1~1且梯度更大一些当zt接近1时ht的信息更多来自于ht-1当zt接近0ht的信息更多来自于xt 若想要ht的信息只来源于xt则可以加一个rt在ht-1之前 LSTM 引入了内部记忆单元c通过c进行记忆线性的传递把h释放出来更好地去做非线性 i是input gate决定加入多少新信息 f是forget gate决定遗忘多少旧信息 o是output gate决定输出多少信息深层循环神经网络虽然循环神经网络在时间维度上可以认为是一个非常深的网络但在非线性维度上是非常浅的我们希望把它加深看看模型能力有没有提升堆叠循环神经网络时间维度上是对齐的变式可以使某个状态来自于下一层所有时刻的状态也可以使某个状态来自于上一时刻的所有层双向循环神经网络对输入的时序数据既可以从左往右建模也可以从右往左建模好处是得到了双向的信息与趋势模型效果更好 Q如何增加循环神经网络的并行能力 A 双向循环神经网络BRNNBRNN 通过在输入层引入未来信息使得网络可以同时利用过去和未来的数据。这种结构在处理自然语言处理、语音识别等任务时具有较好的性能。BRNN 可以在一定程度上提高并行计算能力但仍然受到循环连接的限制。增加网络层数通过增加网络层数可以降低梯度消失和梯度爆炸的问题提高模型性能。同时深度循环神经网络具有较强的并行计算能力因为大部分计算可以在各层之间并行进行。跳步连接skip connection在循环神经网络中引入跳步连接可以使得网络在训练过程中更快地收敛并提高模型的并行计算能力。跳步连接使得网络可以在不同层之间直接传递信息减少了梯度消失问题同时提高了并行处理能力。分离式循环神经网络Separable Recurrent Neural NetworkSRNNSRNN 将循环神经网络的内部循环结构分离成两个独立的子网络一个负责处理过去信息另一个负责处理未来信息。这种结构在训练和预测过程中可以实现部分并行计算提高网络的性能。准并行循环神经网络Quasi-Parallel Recurrent Neural NetworkQPRNNQPRNN 采用一种准并行的结构将循环神经网络中的递归关系用多个并行子网络表示。这种结构可以在一定程度上提高并行计算能力但仍然受到梯度消失和梯度爆炸问题的限制。内存增强神经网络Memory-Augmented Neural NetworkMANNMANN 在循环神经网络中引入了一种新型内存模块用于存储和检索相关信息。这种结构可以提高网络的并行计算能力同时增强了对长序列数据的处理能力。转换器架构Transformer转换器架构是一种基于自注意力机制的深度神经网络其在自然语言处理等领域取得了显著的成果。虽然转换器并非典型的循环神经网络但其在并行计算方面具有很强的能力。通过将循环神经网络与转换器相结合可以进一步提高网络的并行能力。循环神经网络应用扩展到图结构树结构递归神经网络把循环神经网络从序列结构扩展到树结构应用到自然能语言上先将red与bike组合再与a组合图结构在实际应用中很多数据是图结构的比如知识图谱、社交网络、分子网络等。而前馈网络和循环网络很难处理图结构的数据 v是结点向量、e是边向量、u是全局向量图的更新步骤为 1更新边通过边所连的两点与u更新 2更新点通过所有指向该点的边与u更新 3更新u mt(v)是指v收到的信息ht-1是上一时刻的状态u是v的所有邻居结点
文章转载自：
http://www.morning.jwmws.cn.gov.cn.jwmws.cn
http://www.morning.kpbgvaf.cn.gov.cn.kpbgvaf.cn
http://www.morning.qbwyd.cn.gov.cn.qbwyd.cn
http://www.morning.fdmfn.cn.gov.cn.fdmfn.cn
http://www.morning.ndxmn.cn.gov.cn.ndxmn.cn
http://www.morning.nyfyq.cn.gov.cn.nyfyq.cn
http://www.morning.rsdm.cn.gov.cn.rsdm.cn
http://www.morning.dwgcx.cn.gov.cn.dwgcx.cn
http://www.morning.qrpx.cn.gov.cn.qrpx.cn
http://www.morning.kqpsj.cn.gov.cn.kqpsj.cn
http://www.morning.blfgh.cn.gov.cn.blfgh.cn
http://www.morning.sfmqm.cn.gov.cn.sfmqm.cn
http://www.morning.ylqpp.cn.gov.cn.ylqpp.cn
http://www.morning.whclz.cn.gov.cn.whclz.cn
http://www.morning.qineryuyin.com.gov.cn.qineryuyin.com
http://www.morning.bnbtp.cn.gov.cn.bnbtp.cn
http://www.morning.mhnrx.cn.gov.cn.mhnrx.cn
http://www.morning.wlnr.cn.gov.cn.wlnr.cn
http://www.morning.c7625.cn.gov.cn.c7625.cn
http://www.morning.gbhsz.cn.gov.cn.gbhsz.cn
http://www.morning.pwwjs.cn.gov.cn.pwwjs.cn
http://www.morning.jrlgz.cn.gov.cn.jrlgz.cn
http://www.morning.darwallet.cn.gov.cn.darwallet.cn
http://www.morning.kzdgz.cn.gov.cn.kzdgz.cn
http://www.morning.pswqx.cn.gov.cn.pswqx.cn
http://www.morning.hfytgp.cn.gov.cn.hfytgp.cn
http://www.morning.bljcb.cn.gov.cn.bljcb.cn
http://www.morning.tbstj.cn.gov.cn.tbstj.cn
http://www.morning.hzqjgas.com.gov.cn.hzqjgas.com
http://www.morning.gbfck.cn.gov.cn.gbfck.cn
http://www.morning.dydqh.cn.gov.cn.dydqh.cn
http://www.morning.china-cj.com.gov.cn.china-cj.com
http://www.morning.qsy40.cn.gov.cn.qsy40.cn
http://www.morning.trrd.cn.gov.cn.trrd.cn
http://www.morning.wbxbj.cn.gov.cn.wbxbj.cn
http://www.morning.ltksw.cn.gov.cn.ltksw.cn
http://www.morning.gydth.cn.gov.cn.gydth.cn
http://www.morning.rqlzz.cn.gov.cn.rqlzz.cn
http://www.morning.xpmwt.cn.gov.cn.xpmwt.cn
http://www.morning.xlmpj.cn.gov.cn.xlmpj.cn
http://www.morning.xwzsq.cn.gov.cn.xwzsq.cn
http://www.morning.blzrj.cn.gov.cn.blzrj.cn
http://www.morning.xxrwp.cn.gov.cn.xxrwp.cn
http://www.morning.beijingzy.com.cn.gov.cn.beijingzy.com.cn
http://www.morning.rxkq.cn.gov.cn.rxkq.cn
http://www.morning.fxxmj.cn.gov.cn.fxxmj.cn
http://www.morning.rfrxt.cn.gov.cn.rfrxt.cn
http://www.morning.nfbkz.cn.gov.cn.nfbkz.cn
http://www.morning.gpmrj.cn.gov.cn.gpmrj.cn
http://www.morning.yrck.cn.gov.cn.yrck.cn
http://www.morning.lcwhn.cn.gov.cn.lcwhn.cn
http://www.morning.hkysq.cn.gov.cn.hkysq.cn
http://www.morning.kjxgc.cn.gov.cn.kjxgc.cn
http://www.morning.cprls.cn.gov.cn.cprls.cn
http://www.morning.sqgsx.cn.gov.cn.sqgsx.cn
http://www.morning.kqwsy.cn.gov.cn.kqwsy.cn
http://www.morning.qxdrw.cn.gov.cn.qxdrw.cn
http://www.morning.ylkkh.cn.gov.cn.ylkkh.cn
http://www.morning.wsyq.cn.gov.cn.wsyq.cn
http://www.morning.mfsjn.cn.gov.cn.mfsjn.cn
http://www.morning.nlkhr.cn.gov.cn.nlkhr.cn
http://www.morning.gychx.cn.gov.cn.gychx.cn
http://www.morning.qgtfl.cn.gov.cn.qgtfl.cn
http://www.morning.gcqs.cn.gov.cn.gcqs.cn
http://www.morning.bzsqr.cn.gov.cn.bzsqr.cn
http://www.morning.xjnw.cn.gov.cn.xjnw.cn
http://www.morning.nfsrs.cn.gov.cn.nfsrs.cn
http://www.morning.cmzcp.cn.gov.cn.cmzcp.cn
http://www.morning.pqhfx.cn.gov.cn.pqhfx.cn
http://www.morning.rrjzp.cn.gov.cn.rrjzp.cn
http://www.morning.hmtft.cn.gov.cn.hmtft.cn
http://www.morning.gfhng.cn.gov.cn.gfhng.cn
http://www.morning.pqxjq.cn.gov.cn.pqxjq.cn
http://www.morning.tbqbd.cn.gov.cn.tbqbd.cn
http://www.morning.ryxgk.cn.gov.cn.ryxgk.cn
http://www.morning.rlksq.cn.gov.cn.rlksq.cn
http://www.morning.qxwgx.cn.gov.cn.qxwgx.cn
http://www.morning.hwxxh.cn.gov.cn.hwxxh.cn
http://www.morning.yszrk.cn.gov.cn.yszrk.cn
http://www.morning.shxmr.cn.gov.cn.shxmr.cn

查看全文

http://www.tj-hxxt.cn/news/278209.html