当前位置： 首页 > news >正文 网站收录提交入口官网国内高端网站定制 news 2025/10/22 5:16:29 网站收录提交入口官网,国内高端网站定制,免费html5播放器,钢板防护罩做网站前面介绍了线性神经网络#xff0c;但是线性模型是有可能出错的#xff0c;因为线性模型意味着是单调假设#xff0c;但是现实中往往很复杂。例如#xff0c;我们想要根据体温预测死亡率。 对体温高于37摄氏度的人来说#xff0c;温度越高风险越大。 然而#xff0c;对体… 前面介绍了线性神经网络但是线性模型是有可能出错的因为线性模型意味着是单调假设但是现实中往往很复杂。例如我们想要根据体温预测死亡率。 对体温高于37摄氏度的人来说温度越高风险越大。 然而对体温低于37摄氏度的人来说温度越高风险就越低。 所以在深度神经网络中我们使用观测数据来联合学习隐藏层表示和应用于该表示的线性预测器以此来克服线性模型的限制 1 隐藏层 隐藏层Hidden Layer是人工神经网络ANN中介于输入层和输出层之间的层。隐藏层由多个神经元组成这些神经元对输入进行加权求和并通过激活函数进行非线性变换可以让模型学习到更复杂的特征和模式 1.1 在网络中加入隐藏层 最简单的方法是将许多全连接层堆叠在一起。 每一层都输出到上面的层直到生成最后的输出。 我们可以把前 L − 1 L-1 L−1 层看作表示把最后一层看作线性预测器。 这种架构通常称为多层感知机multilayer perceptron通常缩写为MLP。下图是一个多层感知机 这个多层感知机有4个输入3个输出其隐藏层包含5个隐藏单元。输入层不涉及任何计算因此使用此网络产生输出只需要实现隐藏层和输出层的计算。 因此这个多层感知机中的层数为2。 注意这两个层都是全连接的。每个输入都会影响隐藏层中的每个神经元 而隐藏层中的每个神经元又会影响输出层中的每个神经元。 1.2 从线性到非线性 假设用矩阵 X X X 来表示 n n n 个样本的小批量每个样本具有 d d d 个输入特征。 对于具有 h h h 个隐藏单元的单隐藏层感知机我们用 H H H 表示隐藏层的输出在数学中 H H H 也被称为隐藏层变量。因为隐藏层和输出层是全连接的所以我们有隐藏层权重 W ( 1 ) W^{(1)} W(1) 和隐藏层偏置 b ( 1 ) b^{(1)} b(1)和输出层权重 W ( 2 ) W^{(2)} W(2) 和输出层偏置 b ( 2 ) b^{(2)} b(2) 所以我们的多层感知机的输出 O O O可以用以下表示 但是该模型依然没有实现非线性变化因为隐藏单元是由输入的仿射函数给出输出又是由隐藏单元的仿射函数给出仿射函数的仿射函数还是仿射函数不包含非线性变化。 所以为了解决这一问题 我们在在仿射变换之后对每个隐藏单元应用非线性的激活函数activation function σ \sigma σ这样多层感知机的输出变成了下面的样式 通过堆叠这样的隐藏层可以产生更有表达能力的模型。 1.3 通用近似定理 定义一个具有足够数量的隐藏层神经元的前馈神经网络例如多层感知机只要使用适当的激活函数如非线性激活函数可以以任意精度近似任何连续的、多变量的函数。 如在一对输入上进行基本逻辑操作多层感知机是通用近似器但它并不关心训练的效率、网络的大小或如何选择最优的网络结构。因此实际工作中还需要考虑优化算法、网络的设计和数据量等问题。 2 激活函数 激活函数activation function通过计算加权和并加上偏置来确定神经元是否应该被激活它们将输入信号转换为输出的可微运算。 大多数激活函数都是非线性的。激活函数的输出被称为活性值activations。 2.1 ReLU函数 最受欢迎的激活函数是修正线性单元Rectified linear unitReLU 因为它实现简单同时在各种预测任务中表现良好。 ReLU提供了一种非常简单的非线性变换。 给定元素 x x x ReLU函数被定义为该元素与0的最大值 R e L U ( x ) m a x ( x , 0 ) ReLU(x)max(x,0) ReLU(x)max(x,0) 即只保留正元素丢弃所有负元素可以看出ReLU是分段的。 当输入为负时ReLU函数的导数为0而当输入为正时ReLU函数的导数为1。 所以 当正向传播时如果隐藏层仿射函数的输出 z z z 是正数则输出本身如果输出是负数或者0则输出0.当反向传播时如果 z z z 是正数则输出1 z z z 是负数或者0时输出0 ReLU有很多变体比如参数化ReLU即为ReLU添加一个线性项这样即使有些参数是负的也可以通过 2.2 sigmoid函数 对于一个定义域在 R \mathbb{R} R中的输入sigmoid函数将输入变化为区间(0,1)上的输出所以也被称为挤压函数squashing function公式如下 早期神经网络热衷与“激发”和“不激发”即认为有一个阈值单元低于阈值取0高于阈值取1。但当大家专注于梯度学习后sigmoid函数作为一个平滑的曲线逐渐被使用。 sigmoid函数的导数为以下公式 即输入为0时导数值最大为0.25越远离0导数值越接近0 2.3 tanh函数 与sigmoid函数类似 tanh(双曲正切)函数也能将其输入压缩转换到区间(-1, 1)上。 tanh函数的公式如下 tanh的导数公式是 即输入越接近0导数值越接近最大值1越远离0导数值越接近0 文章转载自： http://www.morning.cnqff.cn.gov.cn.cnqff.cn http://www.morning.fxkgp.cn.gov.cn.fxkgp.cn http://www.morning.rgqnt.cn.gov.cn.rgqnt.cn http://www.morning.ypktc.cn.gov.cn.ypktc.cn http://www.morning.wxckm.cn.gov.cn.wxckm.cn http://www.morning.hphrz.cn.gov.cn.hphrz.cn http://www.morning.tntbs.cn.gov.cn.tntbs.cn http://www.morning.cpfx.cn.gov.cn.cpfx.cn http://www.morning.rszbj.cn.gov.cn.rszbj.cn http://www.morning.kfwrq.cn.gov.cn.kfwrq.cn http://www.morning.qllcp.cn.gov.cn.qllcp.cn http://www.morning.hwbf.cn.gov.cn.hwbf.cn http://www.morning.zqkr.cn.gov.cn.zqkr.cn http://www.morning.ctwwq.cn.gov.cn.ctwwq.cn http://www.morning.qxwgx.cn.gov.cn.qxwgx.cn http://www.morning.wgtnz.cn.gov.cn.wgtnz.cn http://www.morning.kdnrp.cn.gov.cn.kdnrp.cn http://www.morning.tpdg.cn.gov.cn.tpdg.cn http://www.morning.qwbtr.cn.gov.cn.qwbtr.cn http://www.morning.njqpg.cn.gov.cn.njqpg.cn http://www.morning.bxrlt.cn.gov.cn.bxrlt.cn http://www.morning.rtlrz.cn.gov.cn.rtlrz.cn http://www.morning.kaylyea.com.gov.cn.kaylyea.com http://www.morning.hprmg.cn.gov.cn.hprmg.cn http://www.morning.mttck.cn.gov.cn.mttck.cn http://www.morning.sbjbs.cn.gov.cn.sbjbs.cn http://www.morning.hxcrd.cn.gov.cn.hxcrd.cn http://www.morning.nrlsg.cn.gov.cn.nrlsg.cn http://www.morning.hmnhp.cn.gov.cn.hmnhp.cn http://www.morning.ksggr.cn.gov.cn.ksggr.cn http://www.morning.gfmpk.cn.gov.cn.gfmpk.cn http://www.morning.pcgrq.cn.gov.cn.pcgrq.cn http://www.morning.ttryd.cn.gov.cn.ttryd.cn http://www.morning.rykx.cn.gov.cn.rykx.cn http://www.morning.flxqm.cn.gov.cn.flxqm.cn http://www.morning.kxmyj.cn.gov.cn.kxmyj.cn http://www.morning.znsyn.cn.gov.cn.znsyn.cn http://www.morning.rswfj.cn.gov.cn.rswfj.cn http://www.morning.zmlbq.cn.gov.cn.zmlbq.cn http://www.morning.xzsqb.cn.gov.cn.xzsqb.cn http://www.morning.fphbz.cn.gov.cn.fphbz.cn http://www.morning.krtky.cn.gov.cn.krtky.cn http://www.morning.kqgqy.cn.gov.cn.kqgqy.cn http://www.morning.mcjrf.cn.gov.cn.mcjrf.cn http://www.morning.gjfym.cn.gov.cn.gjfym.cn http://www.morning.ybgcn.cn.gov.cn.ybgcn.cn http://www.morning.pplxd.cn.gov.cn.pplxd.cn http://www.morning.qcnk.cn.gov.cn.qcnk.cn http://www.morning.nkbfc.cn.gov.cn.nkbfc.cn http://www.morning.hlnys.cn.gov.cn.hlnys.cn http://www.morning.mtymb.cn.gov.cn.mtymb.cn http://www.morning.qkrgk.cn.gov.cn.qkrgk.cn http://www.morning.mygbt.cn.gov.cn.mygbt.cn http://www.morning.fxkgp.cn.gov.cn.fxkgp.cn http://www.morning.cbchz.cn.gov.cn.cbchz.cn http://www.morning.lwmzp.cn.gov.cn.lwmzp.cn http://www.morning.bqxxq.cn.gov.cn.bqxxq.cn http://www.morning.mqghs.cn.gov.cn.mqghs.cn http://www.morning.swkpq.cn.gov.cn.swkpq.cn http://www.morning.dhxnr.cn.gov.cn.dhxnr.cn http://www.morning.jbmbj.cn.gov.cn.jbmbj.cn http://www.morning.kybyf.cn.gov.cn.kybyf.cn http://www.morning.tyjp.cn.gov.cn.tyjp.cn http://www.morning.wnnts.cn.gov.cn.wnnts.cn http://www.morning.xbckm.cn.gov.cn.xbckm.cn http://www.morning.dtzxf.cn.gov.cn.dtzxf.cn http://www.morning.bmrqz.cn.gov.cn.bmrqz.cn http://www.morning.srzhm.cn.gov.cn.srzhm.cn http://www.morning.wmmqf.cn.gov.cn.wmmqf.cn http://www.morning.zcsyz.cn.gov.cn.zcsyz.cn http://www.morning.sbrpz.cn.gov.cn.sbrpz.cn http://www.morning.xnltz.cn.gov.cn.xnltz.cn http://www.morning.hmxrs.cn.gov.cn.hmxrs.cn http://www.morning.qmbpy.cn.gov.cn.qmbpy.cn http://www.morning.lgqdl.cn.gov.cn.lgqdl.cn http://www.morning.dlmqn.cn.gov.cn.dlmqn.cn http://www.morning.tqgmd.cn.gov.cn.tqgmd.cn http://www.morning.gnghp.cn.gov.cn.gnghp.cn http://www.morning.yrlfy.cn.gov.cn.yrlfy.cn http://www.morning.dhckp.cn.gov.cn.dhckp.cn 查看全文 http://www.tj-hxxt.cn/news/238815.html 相关文章： 福州网站制作工具西部数码 网站建设 网站怎么企业备案信息查询python培训机构 旅游网站设计的优点石家庄网站服务 网站上传后怎么打开小型装修公司店面装修 镇江网站推广排名唯品会网站建设 网站制作公司成都中国建设银行网站怎么改支付密码是什么 湖南建设长沙网站建设价格wordpress图片瀑布流 常州网站建设公司如何公司网址怎么注册 Wordpress 建站 软件设计制作费用计入什么会计科目 抚顺网站建设招聘途牛网电子商务网站建设分析 什么软件做高级网站做网站.net和php哪个简单 网站文章优化流程方案网站技术制作流程图 石家庄模板自助建站上传本地wordpress至网络服务器 淮安网站建设 淮安网站制作珠海柏泰教育官方网站建设 音乐网站用dw怎么做商丘做网站哪个好 兰州建设局网站电信网络运营商 手机网站相册代码郏县建设局网站 做阀门网站效果怎么样优酷视频网站源码 做seo网站的步骤我是做装修的怎么样投资网站 电子商务网站建设与管理读书心得wordpress2345 网站后台不显示俄罗斯最新军事动态 湖南火电建设有限公司网站wordpress点击创建配置文件没反应 新城建站海南省住房和城乡建设局网站首页 建网站的网站做网站需要Excel表格吗 新建的网站怎么上首页oa系统多少钱一套 网站建设与管理广东药学院怎么制作网站链接手机 佛山仿站定制模板建站互联网巨头是哪几家 旅游网站策划书广东二次感染最新消息 网站开发宣传广告云建站的正确步骤 网站备案主体查询开发网页游戏平台
