当前位置： 首页 > news >正文 做搜狗网站关键词排名精准的搜索引擎优化 news 2025/10/29 7:11:34 做搜狗网站关键词排名,精准的搜索引擎优化,微信公众平台注册订阅号,注册有限公司的流程和条件探索序列建模的基础知识和应用。 简介 序列建模是许多领域的一个重要问题#xff0c;包括自然语言处理 (NLP)、语音识别和语音合成、时间序列预测、音乐生成和「生物信息学」。所有这些任务的共同点是它们需要坚持。接下来的事情的预测是基于历史的。例如#xff0c;在“哈桑… 探索序列建模的基础知识和应用。 简介 序列建模是许多领域的一个重要问题包括自然语言处理 (NLP)、语音识别和语音合成、时间序列预测、音乐生成和「生物信息学」。所有这些任务的共同点是它们需要坚持。接下来的事情的预测是基于历史的。例如在“哈桑以前踢足球而且他踢得非常好”的序列中。只有将“哈桑”的信息推进到该特定点才能对“他”进行预测。因此您需要某种历史记录块来存储以前的信息并将其用于进一步的预测。传统的人工神经网络在这方面失败了因为它们无法携带先前的信息。这就催生了一种名为“循环神经网络RNN”的新架构。 循环神经网络 循环神经网络是一种深度学习神经网络它会记住输入序列将其存储在记忆状态中并预测未来的单词/句子。它们中有循环允许信息持续存在。 上面显示的单层 RNN 具有输入 x 和输出 y以及隐藏单元 h。该图的右侧部分以展开的方式显示了 RNN。考虑隐藏单元h(t)的情况它接收两个输入。一个是x(t)另一个是h(t-1)。这样信息就得以传承。 该 RNN 架构的修改版本可用于解决不同类型的序列问题。序列问题大致可分为以下几类 多对多架构可用于视频字幕和机器翻译。一对多用于图像字幕多对一用于情感分析任务。这些只是这些修改后的架构的一些应用。 RNN 的缺点 梯度消失/爆炸总损失是所有时间戳损失的总和。因此在反向传播过程中我们对权重求偏导数。应用链式法则最终给出了一种形式我们可以在其中计算相邻时间戳处隐藏状态的偏导数的乘积。由于这种乘法我们的梯度可以呈指数级减小并且参数的更新相当小。这就是梯度消失问题。当梯度呈指数增长时参数更新不稳定且不可预测。这就是梯度爆炸问题。这两个问题都阻碍了 RNN 的训练。 长期依赖性RNN 可以轻松地在小间隙中传递信息但是当最后一个单词依赖于长句子的第一个单词时RNN 会因间隙过大而失败。 为了克服上述问题我们可以使用梯度裁剪、跳跃连接、权重初始化技术、梯度正则化和门控架构如 LSTM 和 GRU。 长短期记忆 LSTM 是一种深度学习神经网络具有隐藏状态和细胞状态两种不同的状态。它具有三种不同类型的门即输入门、遗忘门和输出门。这些门调节进出记忆单元的信息流使 LSTM 能够根据需要选择性地记住或忘记信息。 现在我将解释 LSTM 的工作原理。一个 LSTM 单元采用输入 x(t)、隐藏状态 h(t-1)、单元状态 c(t-1)。基于 h(t-1) 和 x(t)它首先决定使用遗忘门丢弃哪些信息。然后我们决定哪些新信息应该存储在单元状态中。我们通过使用输入门和输入节点找到了这一点。然后我们通过首先忘记然后添加新信息来更新单元状态 c(t-1)。最后我们使用更新的单元状态 c(t)、输入 x(t)、隐藏状态 h(t) 和输出门来计算输出。 LSTM 面临过度拟合、内存限制和计算复杂性。建议对 LSTM 架构进行许多小的修改。一种架构是门控循环单元 (GRU) 序列到序列 Seq2Seq 是一种特殊类型的序列建模用于机器翻译、文本生成、摘要等。其架构的设计方式使其可以接受可变数量的输入并产生可变数量的输出。它有一个编码器和解码器。编码器和解码器都有一个循环神经网络。 在上图中您可以看到编码器在每个时间戳处获取一个输入标记然后更新其隐藏状态。编码器从给定句子中捕获的所有信息都通过编码器的最后一个隐藏状态传递到解码器。最后一个隐藏状态称为上下文向量。它充当整个输入序列的摘要。解码器 RNN 获取编码器生成的上下文向量并逐个生成输出序列令牌。在每个时间步解码器接收先前的输出令牌或初始时间步期间的开始令牌及其隐藏状态。解码器的隐藏状态根据先前的隐藏状态和先前生成的令牌进行更新。解码器逐个生成输出序列标记直到满足特定条件例如达到最大长度或生成序列结束标记。 Seq2Seq的缺点 上下文压缩来自输入序列的所有信息必须压缩到上下文向量的大小。因此损失细粒度的细节。 短期记忆限制他们努力从遥远的时间步骤捕获和保留信息从而难以处理长序列和捕获长期依赖性。 偏见在培训期间经常使用称为“teacher forcing”的技术对SEQ2SEQ模型进行训练在该技术中将解码器与地面真相输出tokens一起提供为每个时间步骤的输入。但是在推理或测试期间该模型根据其自身的预测生成输出tokens。训练和推理之间的这种差异可能导致暴露偏见从而导致模型在推断期间表现出色。 总结 考虑到以上所有因素循环神经网络确实在序列建模方面做出了很大的改变。为了克服它的缺点我们提出了 LSTM 和 GRU。但最具革命性的变化是注意力机制的出现。 本文由 mdnice 多平台发布 文章转载自： http://www.morning.qgjp.cn.gov.cn.qgjp.cn http://www.morning.nxpqw.cn.gov.cn.nxpqw.cn http://www.morning.kgphc.cn.gov.cn.kgphc.cn http://www.morning.rgpsq.cn.gov.cn.rgpsq.cn http://www.morning.rkwlg.cn.gov.cn.rkwlg.cn http://www.morning.ycwym.cn.gov.cn.ycwym.cn http://www.morning.fywqr.cn.gov.cn.fywqr.cn http://www.morning.qzpsk.cn.gov.cn.qzpsk.cn http://www.morning.taojava.cn.gov.cn.taojava.cn http://www.morning.qtkdn.cn.gov.cn.qtkdn.cn http://www.morning.cfqyx.cn.gov.cn.cfqyx.cn http://www.morning.tnmmp.cn.gov.cn.tnmmp.cn http://www.morning.shprz.cn.gov.cn.shprz.cn http://www.morning.gqfjb.cn.gov.cn.gqfjb.cn http://www.morning.mwmxs.cn.gov.cn.mwmxs.cn http://www.morning.xgbq.cn.gov.cn.xgbq.cn http://www.morning.skfkx.cn.gov.cn.skfkx.cn http://www.morning.rwcw.cn.gov.cn.rwcw.cn http://www.morning.pbtdr.cn.gov.cn.pbtdr.cn http://www.morning.nyqm.cn.gov.cn.nyqm.cn http://www.morning.smwlr.cn.gov.cn.smwlr.cn http://www.morning.rbsxf.cn.gov.cn.rbsxf.cn http://www.morning.ylmxs.cn.gov.cn.ylmxs.cn http://www.morning.xjnjb.cn.gov.cn.xjnjb.cn http://www.morning.mbpzw.cn.gov.cn.mbpzw.cn http://www.morning.csnmd.cn.gov.cn.csnmd.cn http://www.morning.bwqcx.cn.gov.cn.bwqcx.cn http://www.morning.bzkgn.cn.gov.cn.bzkgn.cn http://www.morning.nkhdt.cn.gov.cn.nkhdt.cn http://www.morning.trqsm.cn.gov.cn.trqsm.cn http://www.morning.fgkwh.cn.gov.cn.fgkwh.cn http://www.morning.xxwhz.cn.gov.cn.xxwhz.cn http://www.morning.yqqxj1.cn.gov.cn.yqqxj1.cn http://www.morning.rgnp.cn.gov.cn.rgnp.cn http://www.morning.tbzcl.cn.gov.cn.tbzcl.cn http://www.morning.pznhn.cn.gov.cn.pznhn.cn http://www.morning.fpjxs.cn.gov.cn.fpjxs.cn http://www.morning.bxbkq.cn.gov.cn.bxbkq.cn http://www.morning.pljdy.cn.gov.cn.pljdy.cn http://www.morning.cytr.cn.gov.cn.cytr.cn http://www.morning.znsyn.cn.gov.cn.znsyn.cn http://www.morning.krxzl.cn.gov.cn.krxzl.cn http://www.morning.hqqpy.cn.gov.cn.hqqpy.cn http://www.morning.wmfh.cn.gov.cn.wmfh.cn http://www.morning.ktcfl.cn.gov.cn.ktcfl.cn http://www.morning.myhpj.cn.gov.cn.myhpj.cn http://www.morning.fbzdn.cn.gov.cn.fbzdn.cn http://www.morning.xzsqb.cn.gov.cn.xzsqb.cn http://www.morning.pdghl.cn.gov.cn.pdghl.cn http://www.morning.frnjm.cn.gov.cn.frnjm.cn http://www.morning.pqhgn.cn.gov.cn.pqhgn.cn http://www.morning.mysmz.cn.gov.cn.mysmz.cn http://www.morning.tmlhh.cn.gov.cn.tmlhh.cn http://www.morning.cfqyx.cn.gov.cn.cfqyx.cn http://www.morning.fmkjx.cn.gov.cn.fmkjx.cn http://www.morning.bbmx.cn.gov.cn.bbmx.cn http://www.morning.khntd.cn.gov.cn.khntd.cn http://www.morning.stwxr.cn.gov.cn.stwxr.cn http://www.morning.tlnkz.cn.gov.cn.tlnkz.cn http://www.morning.tkgjl.cn.gov.cn.tkgjl.cn http://www.morning.hyxwh.cn.gov.cn.hyxwh.cn http://www.morning.yrqb.cn.gov.cn.yrqb.cn http://www.morning.pqjlp.cn.gov.cn.pqjlp.cn http://www.morning.dbnpz.cn.gov.cn.dbnpz.cn http://www.morning.npbgj.cn.gov.cn.npbgj.cn http://www.morning.snbrs.cn.gov.cn.snbrs.cn http://www.morning.zkgpg.cn.gov.cn.zkgpg.cn http://www.morning.lcplz.cn.gov.cn.lcplz.cn http://www.morning.yqsr.cn.gov.cn.yqsr.cn http://www.morning.zkzjm.cn.gov.cn.zkzjm.cn http://www.morning.hwcln.cn.gov.cn.hwcln.cn http://www.morning.qwyms.cn.gov.cn.qwyms.cn http://www.morning.mrqwy.cn.gov.cn.mrqwy.cn http://www.morning.rfxg.cn.gov.cn.rfxg.cn http://www.morning.glbnc.cn.gov.cn.glbnc.cn http://www.morning.jwsrp.cn.gov.cn.jwsrp.cn http://www.morning.ltbwq.cn.gov.cn.ltbwq.cn http://www.morning.qwhbk.cn.gov.cn.qwhbk.cn http://www.morning.rwjtf.cn.gov.cn.rwjtf.cn http://www.morning.fqnql.cn.gov.cn.fqnql.cn 查看全文 http://www.tj-hxxt.cn/news/258863.html 相关文章： 网站备案法律海口网站建设网页制作公司 简述dw网站开发流程唐山快速建站的公司 常州建网站编程网站项目做哪个比较好 平安建设宣传音频免费下载网站网站接入商 有一个域名做网站苏州关键词优化软件 兰州网站排名优化服务wordpress安装错误310 最新站长seo网站外链发布平台深圳做网站乐云seo费用优惠 国外网站有备案吗网站内容侵权 怎么做 郑州企业网站快速优化多少钱wordpress黑页 前端怎么在猪八戒网站接单做wordpress app下载 电影题材网页设计欣赏相关搜索优化软件 网站建立需要什么条件wordpress系统怎么样 合水口网站建设东莞网站建设 手机壳 南通网站制作哪个好厦门电商网站建设 怎么做一个国外网站芜湖企业做网站 华企在线网站建设app 软件开发 有哪些搜索引擎网站青岛网站建设服务平台 wordpress无需代码建站wordpress 关于我们 宿州金融网站建设做跨境的网站 js网页设计大作业源代码新乡网站自然优化 单页网站制作 在线 支付电子商务网站建设选择 新建网站多少钱网店美工课程总结 下列哪一项不属于电子商务网站建设网站建设人员分工表 网站建设推广服务合同范本开源社区源码 怎样注册个人网站广州网站推广模板 加若格网站做么样深圳网站建设评价 哈尔滨站建好了吗wordpress 如何登陆地址 学做网站论坛vip账户网站建设推荐网 视频网站如何做wordpress mip 插件 网站开发什么语言做网站都需要用到什么
