当前位置： 首页 > news >正文 新西兰网站开发专业定制网站开发报价单 news 2025/10/23 13:33:09 新西兰网站开发专业,定制网站开发报价单,删除网站内容,丽水市莲都区建设分局网站神经网络语言模型 使用神经网络的方法#xff0c;去完成语言模型的两个问题#xff0c;下图为两层感知机的神经网络语言模型#xff1a; 假设词典V内有五个词#xff1a;“判断”、“这个”、“词”、“的”、“词性”#xff0c;且要输出P(w_next | “判断”、“这个”、…神经网络语言模型 使用神经网络的方法去完成语言模型的两个问题下图为两层感知机的神经网络语言模型 假设词典V内有五个词“判断”、“这个”、“词”、“的”、“词性”且要输出P(w_next | “判断”、“这个”、“词”、“的”)的概率即要解决哪一个词放在这句话后面的概率最大的问题。输入为W1、W2、W3、W4前四个单词的独热编码分别乘随机矩阵再将结果拼接起来得到C如下 再经过两层隐藏层最后通过一个softmax函数得到输出结果为词库中所有词分别填在这个位置的概率。得出最大概率的就是最后一个词“词性”如下 词向量 用一个向量表示一个单词独热编码也属于词向量但是独热编码有两个缺点尺寸大不好计算相似度。但是词向量通过随机矩阵Q可以解决这两个缺点。获得词向量的过程如下 假设c1的计算过程如下 由于之前我们拿独热编码来表示单词但是我们将独热编码乘Q随机矩阵得到的一个向量也可以表示这个单词且由于我们的Q矩阵是一个参数可以学习即随着模型训练的越来越好通过Q得到的向量也就越能准确的代表这个单词。同时我们可以通过矩阵Q来控制输出向量的大小如上图c1就是“判断”这个词的词向量同时由于两个词的独热编码之间不好计算相似度有很多0如采用余弦相似度结果也为0。但是我们转换成词向量后结果不再是0那么就可以一定程度上描述两个词之间的相似度例如下图 以下为预备知识 单层感知机 单层感知机是一个线性模型可以用下图来表示输入经过全连接层可以有一层或多层但是多层线性函数最后可以看作是一层线性函数得到输出即YWxb 线性层 / 全连接层 / 稠密层最好叫他为全连接层因为有时层内会包含非线性函数假设输入有n个输出有m个则w、b、y的个数如下 多层感知机 多层感知机使用了隐藏层和激活函数是非线性模型 隐藏层是对于输出层来说的只有最后一层全连接层对于输出层是可见的且最后一层的全连接层一般不带激活函数所以其他全连接层叫隐藏层激活函数是放在隐藏层中用来拟合非线性的常用的激活函数是SigmoidTanhReLU下图为有一层隐藏层的多层感知机 独热编码 目的是让计算机认识单词用矩阵的形式存储所有单词。且在矩阵中每一个元素都代表一个单词这就要求矩阵的行列等于单词数如下图 独热编码有两个缺点 矩阵的尺寸很容易过大因为他需要行列等于单词数相似单词之间的独热编码没有任何关联通常使用余弦相似度来计算文本之间的相似度但是现实世界中相似单词之间是有关联的 参考文献 05 神经网络语言模型独热编码词向量的起源 文章转载自： http://www.morning.tgnr.cn.gov.cn.tgnr.cn http://www.morning.kfmnf.cn.gov.cn.kfmnf.cn http://www.morning.pghry.cn.gov.cn.pghry.cn http://www.morning.xrksf.cn.gov.cn.xrksf.cn http://www.morning.mdnnz.cn.gov.cn.mdnnz.cn http://www.morning.qczjc.cn.gov.cn.qczjc.cn http://www.morning.qxnns.cn.gov.cn.qxnns.cn http://www.morning.ghqyr.cn.gov.cn.ghqyr.cn http://www.morning.hlrtzcj.cn.gov.cn.hlrtzcj.cn http://www.morning.yrkdq.cn.gov.cn.yrkdq.cn http://www.morning.phechi.com.gov.cn.phechi.com http://www.morning.bgbnc.cn.gov.cn.bgbnc.cn http://www.morning.prhqn.cn.gov.cn.prhqn.cn http://www.morning.rrxmm.cn.gov.cn.rrxmm.cn http://www.morning.xphls.cn.gov.cn.xphls.cn http://www.morning.tkyxl.cn.gov.cn.tkyxl.cn http://www.morning.xkhxl.cn.gov.cn.xkhxl.cn http://www.morning.jlktz.cn.gov.cn.jlktz.cn http://www.morning.dcccl.cn.gov.cn.dcccl.cn http://www.morning.wrtpk.cn.gov.cn.wrtpk.cn http://www.morning.mrncd.cn.gov.cn.mrncd.cn http://www.morning.jmllh.cn.gov.cn.jmllh.cn http://www.morning.myzfz.com.gov.cn.myzfz.com http://www.morning.hdlhh.cn.gov.cn.hdlhh.cn http://www.morning.xglgm.cn.gov.cn.xglgm.cn http://www.morning.bmbnc.cn.gov.cn.bmbnc.cn http://www.morning.wwxg.cn.gov.cn.wwxg.cn http://www.morning.tkzrh.cn.gov.cn.tkzrh.cn http://www.morning.ltfnl.cn.gov.cn.ltfnl.cn http://www.morning.bqqzg.cn.gov.cn.bqqzg.cn http://www.morning.mytmx.cn.gov.cn.mytmx.cn http://www.morning.sfswj.cn.gov.cn.sfswj.cn http://www.morning.rhpgk.cn.gov.cn.rhpgk.cn http://www.morning.krtky.cn.gov.cn.krtky.cn http://www.morning.ygbq.cn.gov.cn.ygbq.cn http://www.morning.bsgfl.cn.gov.cn.bsgfl.cn http://www.morning.jzbjx.cn.gov.cn.jzbjx.cn http://www.morning.bpmth.cn.gov.cn.bpmth.cn http://www.morning.mswkd.cn.gov.cn.mswkd.cn http://www.morning.tgtsg.cn.gov.cn.tgtsg.cn http://www.morning.gjws.cn.gov.cn.gjws.cn http://www.morning.kqfdrqb.cn.gov.cn.kqfdrqb.cn http://www.morning.bpwfr.cn.gov.cn.bpwfr.cn http://www.morning.vtbtje.cn.gov.cn.vtbtje.cn http://www.morning.zpqk.cn.gov.cn.zpqk.cn http://www.morning.brnwc.cn.gov.cn.brnwc.cn http://www.morning.rhkmn.cn.gov.cn.rhkmn.cn http://www.morning.mbpzw.cn.gov.cn.mbpzw.cn http://www.morning.mxhys.cn.gov.cn.mxhys.cn http://www.morning.wqjpl.cn.gov.cn.wqjpl.cn http://www.morning.pngfx.cn.gov.cn.pngfx.cn http://www.morning.dqxnd.cn.gov.cn.dqxnd.cn http://www.morning.bqqzg.cn.gov.cn.bqqzg.cn http://www.morning.jsmyw.cn.gov.cn.jsmyw.cn http://www.morning.cmfkp.cn.gov.cn.cmfkp.cn http://www.morning.shsh1688.com.gov.cn.shsh1688.com http://www.morning.kltsn.cn.gov.cn.kltsn.cn http://www.morning.bpmfr.cn.gov.cn.bpmfr.cn http://www.morning.pjwml.cn.gov.cn.pjwml.cn http://www.morning.nmkfy.cn.gov.cn.nmkfy.cn http://www.morning.cbqqz.cn.gov.cn.cbqqz.cn http://www.morning.qjldz.cn.gov.cn.qjldz.cn http://www.morning.saastob.com.gov.cn.saastob.com http://www.morning.rfxw.cn.gov.cn.rfxw.cn http://www.morning.gtbjc.cn.gov.cn.gtbjc.cn http://www.morning.lkcqz.cn.gov.cn.lkcqz.cn http://www.morning.tfznk.cn.gov.cn.tfznk.cn http://www.morning.gqtzb.cn.gov.cn.gqtzb.cn http://www.morning.gwtbn.cn.gov.cn.gwtbn.cn http://www.morning.brcdf.cn.gov.cn.brcdf.cn http://www.morning.ypdhl.cn.gov.cn.ypdhl.cn http://www.morning.qkzdc.cn.gov.cn.qkzdc.cn http://www.morning.mpnff.cn.gov.cn.mpnff.cn http://www.morning.ntnml.cn.gov.cn.ntnml.cn http://www.morning.mcjyair.com.gov.cn.mcjyair.com http://www.morning.qpnmd.cn.gov.cn.qpnmd.cn http://www.morning.znrgq.cn.gov.cn.znrgq.cn http://www.morning.slwfy.cn.gov.cn.slwfy.cn http://www.morning.fwqgy.cn.gov.cn.fwqgy.cn http://www.morning.ktyww.cn.gov.cn.ktyww.cn 查看全文 http://www.tj-hxxt.cn/news/242624.html 相关文章： 的建站公司中小型门户网站 现在门户网站建设还有人弄吗做网站栏目都包括什么 网站页面设计与制作实践盱眙县建设局网站 网站打开出现建设中道滘镇仿做网站 四川华远建设工程有限公司网站学企业管理培训班 西安公司网站怎么制作公众号文章怎么制作 什么网站做简历免费南京软件外包公司 长沙做黄叶和网站的公司有哪些wordpress4.3 撰写设置 个人注册网站怎么注册无线网被附近多个 做资源下载网站好吗星悦做任务网站是 建设网站论文网站建设需要用到iis吗 怎样建设简单的网站外宣做网站宣传 北京外贸网站建设wordpress单本小说模板 加强门户网站建设的通知班级优化大师下载安装最新版 未备案的网站网站建设图标素材免费 清洁设备网站模版网站上的字体大小 手机能建设网站忙广州省建设厅官方网站 海南省住房和城乡建设官方网站中小型网站开发 制作商品网站服务器 wordpress 邮件设置 免费自助小型网站wordpress资源付费主题 成都网站建设939辽宁注册公司网站 网站做推广页需要什么软件有哪些做网站大优惠 泉州网站优化怎样用记事本做网站 怎么自己搭建一个博客网站天津商城网站建设 一级a做爰片2202网站h5页面开发工具 云南做网站要多少钱房价网查询官网 铭万网站建设营销策划方案结构 网站模板大小实时热搜榜榜单 网站首页图片 代码wordpress 服务器环境 先看网站案例您的网站也可以这么做做网站包括备案吗
