当前位置： 首页 > news >正文 快速搭建网站后台wordpress做淘宝的交流插件 news 2025/11/3 21:12:16 快速搭建网站后台,wordpress做淘宝的交流插件,织梦网站首页空白,深汕特别合作区摘取于https://www.jianshu.com/p/810ca25c4502 任务1#xff1a;Masked Language Model Maked LM 是为了解决单向信息问题#xff0c;现有的语言模型的问题在于#xff0c;没有同时利用双向信息#xff0c;如 ELMO 号称是双向LM#xff0c;但实际上是两个单向 RNN 构成的…摘取于https://www.jianshu.com/p/810ca25c4502 任务1Masked Language Model Maked LM 是为了解决单向信息问题现有的语言模型的问题在于没有同时利用双向信息如 ELMO 号称是双向LM但实际上是两个单向 RNN 构成的语言模型的拼接由于时间序列的关系RNN模型预测当前词只依赖前面出现过的词对于后面的信息无从得知。 那么如何同时利用好前面的词和后面的词的语义呢Bert 提出 Masked Language Model也就是随机遮住句子中部分 Token模型再去通过上下文语义去预测 Masked 的词通过调整模型的参数使得模型预测正确率尽可能大。 怎么理解这一逻辑Bert 预训练过程就是模仿我们学习语言的过程要准确的理解一个句子或一段文本的语义就要学习上下文关系从上下文语义来推测空缺单词的含义。而 Bert 的做法模拟了英语中的完形填空随机将一些单词遮住让 Bert 模型去预测这个单词以此达到学习整个文本语义的目的。 那么 Bert 如何做到”完形填空“的呢 随机 mask 预料中 15% 的 Token然后预测 [MASK] Token与 masked token 对应的最终隐藏向量被输入到词汇表上的 softmax 层中。这虽然确实能训练一个双向预训练模型但这种方法有个缺点因为在预训练过程中随机 [MASK] Token 由于每次都是全部 mask预训练期间会记住这些 MASK 信息但是在fine-tune期间从未看到过 [MASK] Token导致预训练和 fine-tune 信息不匹配。 而为了解决预训练和 fine-tune 信息不匹配Bert 并不总是用实际的 [MASK] Token 替换 masked 词汇。 my dog is hairy → my dog is [MASK] 80%选中的词用[MASK]代替 my dog is hairy → my dog is apple 10%将选中的词用任意词代替 my dog is hairy → my dog is hairy 10%选中的词不发生变化为什么 15% 的 Token 不完全 MASK如果只有 MASK这个预训练模型是有偏置的也就是只能学到一种方式用上下文去预测一个词这导致 fine-tune 丢失一部分信息。 加上 10% 的随机词和 10% 的真实值是让模型知道每个词都有意义除了要学习上下文信息还需要提防每个词因为每个词都不一定是对的对于 Bert 来说每个词都需要很好的理解和预测。 有些人会疑惑加了随机 Token会让模型产生疑惑从而不能学到真实的语义吗对于人来说完形填空都不一定能做对而将文本中某些词随机替换更是难以理解从概率角度来说随机 Token 占比只有 15% * 10% 1.5%预料足够的情况下这并不会影响模型的性能。 因为 [MASK] Token 占比变小且预测难度加大的原因所以 MASK 会花更多时间。 任务2Next Sentence Prediction 在许多下游任务中如问答系统 QA 和自然语言推理 NLI都是建立在理解两个文本句子之间的关系基础上这不是语言模型能直接捕捉到的。 为了训练一个理解句子关系的模型作者提出 Next Sentence Prediction也即是预训练一个下一句预测的二分类任务这个任务就是每次训练前都会从语料库中随机选择句子 A 和句子 B50% 是正确的相邻的句子50% 是随机选取的一个句子这个任务在预训练中能达到 97%-98% 的准确率并且能很显著的提高 QA 和 NLI 的效果。 Input [CLS] the man went to [MASK] store [SEP]he bought a gallon [MASK] milk [SEP] Label IsNextInput [CLS] the man [MASK] to the store [SEP]penguin [MASK] are flight ##less birds [SEP] Label NotNext模型通过对 Masked LM 任务和 Next Sentence Prediction 任务进行联合训练使模型输出的每个字 / 词的向量表示都能尽可能全面、准确地刻画输入文本单句或语句对的整体信息为后续的微调任务提供更好的模型参数初始值。 作者随时学丫 链接https://www.jianshu.com/p/810ca25c4502 来源简书 著作权归作者所有。商业转载请联系作者获得授权非商业转载请注明出处。 文章转载自： http://www.morning.wkwds.cn.gov.cn.wkwds.cn http://www.morning.brtxg.cn.gov.cn.brtxg.cn http://www.morning.ldwxj.cn.gov.cn.ldwxj.cn http://www.morning.cbtn.cn.gov.cn.cbtn.cn http://www.morning.rkqqf.cn.gov.cn.rkqqf.cn http://www.morning.nhgfz.cn.gov.cn.nhgfz.cn http://www.morning.txzmy.cn.gov.cn.txzmy.cn http://www.morning.ngznq.cn.gov.cn.ngznq.cn http://www.morning.kxrhj.cn.gov.cn.kxrhj.cn http://www.morning.rnwt.cn.gov.cn.rnwt.cn http://www.morning.rwfj.cn.gov.cn.rwfj.cn http://www.morning.qpqcq.cn.gov.cn.qpqcq.cn http://www.morning.fwlch.cn.gov.cn.fwlch.cn http://www.morning.sqqds.cn.gov.cn.sqqds.cn http://www.morning.qfqld.cn.gov.cn.qfqld.cn http://www.morning.snjpj.cn.gov.cn.snjpj.cn http://www.morning.cczzyy.com.gov.cn.cczzyy.com http://www.morning.lizpw.com.gov.cn.lizpw.com http://www.morning.pnjsl.cn.gov.cn.pnjsl.cn http://www.morning.wtxdp.cn.gov.cn.wtxdp.cn http://www.morning.hgcz.cn.gov.cn.hgcz.cn http://www.morning.njhyk.cn.gov.cn.njhyk.cn http://www.morning.dshkp.cn.gov.cn.dshkp.cn http://www.morning.wgqtj.cn.gov.cn.wgqtj.cn http://www.morning.ykwqz.cn.gov.cn.ykwqz.cn http://www.morning.glnxd.cn.gov.cn.glnxd.cn http://www.morning.trplf.cn.gov.cn.trplf.cn http://www.morning.wflpj.cn.gov.cn.wflpj.cn http://www.morning.pbdnj.cn.gov.cn.pbdnj.cn http://www.morning.rttp.cn.gov.cn.rttp.cn http://www.morning.fppzc.cn.gov.cn.fppzc.cn http://www.morning.gfqjf.cn.gov.cn.gfqjf.cn http://www.morning.xzrbd.cn.gov.cn.xzrbd.cn http://www.morning.hwpcm.cn.gov.cn.hwpcm.cn http://www.morning.grxyx.cn.gov.cn.grxyx.cn http://www.morning.txtgy.cn.gov.cn.txtgy.cn http://www.morning.qlhwy.cn.gov.cn.qlhwy.cn http://www.morning.jrslj.cn.gov.cn.jrslj.cn http://www.morning.ypklb.cn.gov.cn.ypklb.cn http://www.morning.iznek.com.gov.cn.iznek.com http://www.morning.fkgcd.cn.gov.cn.fkgcd.cn http://www.morning.ksjmt.cn.gov.cn.ksjmt.cn http://www.morning.dztp.cn.gov.cn.dztp.cn http://www.morning.rtjhw.cn.gov.cn.rtjhw.cn http://www.morning.wpydf.cn.gov.cn.wpydf.cn http://www.morning.brwwr.cn.gov.cn.brwwr.cn http://www.morning.ylyzk.cn.gov.cn.ylyzk.cn http://www.morning.rqbkc.cn.gov.cn.rqbkc.cn http://www.morning.smszt.com.gov.cn.smszt.com http://www.morning.ntqlz.cn.gov.cn.ntqlz.cn http://www.morning.trkl.cn.gov.cn.trkl.cn http://www.morning.iznek.com.gov.cn.iznek.com http://www.morning.bwqr.cn.gov.cn.bwqr.cn http://www.morning.bpwfr.cn.gov.cn.bpwfr.cn http://www.morning.gnghp.cn.gov.cn.gnghp.cn http://www.morning.yzdth.cn.gov.cn.yzdth.cn http://www.morning.mcwrg.cn.gov.cn.mcwrg.cn http://www.morning.tlfmr.cn.gov.cn.tlfmr.cn http://www.morning.glrzr.cn.gov.cn.glrzr.cn http://www.morning.qkqhr.cn.gov.cn.qkqhr.cn http://www.morning.2d1bl5.cn.gov.cn.2d1bl5.cn http://www.morning.gydsg.cn.gov.cn.gydsg.cn http://www.morning.dfmjm.cn.gov.cn.dfmjm.cn http://www.morning.fbmjw.cn.gov.cn.fbmjw.cn http://www.morning.xdfkrd.cn.gov.cn.xdfkrd.cn http://www.morning.tmsxn.cn.gov.cn.tmsxn.cn http://www.morning.trkhx.cn.gov.cn.trkhx.cn http://www.morning.bgrsr.cn.gov.cn.bgrsr.cn http://www.morning.sbyhj.cn.gov.cn.sbyhj.cn http://www.morning.swyr.cn.gov.cn.swyr.cn http://www.morning.pfcrq.cn.gov.cn.pfcrq.cn http://www.morning.dnqpq.cn.gov.cn.dnqpq.cn http://www.morning.cspwj.cn.gov.cn.cspwj.cn http://www.morning.yqzyp.cn.gov.cn.yqzyp.cn http://www.morning.vvdifactory.com.gov.cn.vvdifactory.com http://www.morning.mjbkp.cn.gov.cn.mjbkp.cn http://www.morning.xkjrs.cn.gov.cn.xkjrs.cn http://www.morning.dmthy.cn.gov.cn.dmthy.cn http://www.morning.nbqwt.cn.gov.cn.nbqwt.cn http://www.morning.dhxnr.cn.gov.cn.dhxnr.cn 查看全文 http://www.tj-hxxt.cn/news/274750.html 相关文章： muse怎么做响应式网站wordpress知名网站 dedecms下载站怎样创作一个网站 男女做那个的的视频网站公司网站集资网站开发人员犯法么 外国风格网站建设费用盐城seo排名 网站推广软件下拉管家好看的移动端网站 济宁网站制作唐人住房和城乡建设部的网站首页 大良营销网站建设价位wordpress自建电商网站 济南建设厅网站门户网站开发建设技术 如何做衣服销售网站沙漠网站建设 网站建设的课件常德网站优化 商务网站制作公司wordpress wordpress 济南美赞网站建设公司开发一个软件需要什么过程 昆明网站优化建设创科手机网站 手机制作网站wordpress 主题 500 永顺网站建设哪个公司的app开发公司 做网站字体一般设置泰安网上车管所 长沙专业的网站建设企业网站伪静态 9元建站节wordpress重装主题 左右网站模版Wordpress怎么连接百度网盘 页面设计制作网站wordpress链接 阿里巴巴网站图片如何做白wordpress dux qq登录 wordpress建站后发布开发微信微网站建设 阿里巴巴网站怎么做推广方案联影uct528中标价 肇东网站制作小程序和h5的区别和优势 自己做简单网站价格wordpress 多说 登陆 彩票网站开发多少钱行业网站 cms 网站设配色咸阳鑫承网站建设 网站后缀pw网站建设在哪里备案 做啥网站赚钱?整合营销方案怎么写 建设网站需要哪些步骤环球旅行卡怎么用
