英文 网站 字体,如何加入百度推广,福田附近网站开发公司,网络推广网站建设在使用这个非线性激活函数的时候#xff0c;其实我们重点还是学习的是他们的正向怎么传播#xff0c;以及反向怎么传递的。
如下图所示#xff1a; 第一#xff1a;relu函数的正向传播函数是#xff1a;当输入值#xff08;隐藏层#xff09;值大于了#xff0c;就输出…在使用这个非线性激活函数的时候其实我们重点还是学习的是他们的正向怎么传播以及反向怎么传递的。
如下图所示 第一relu函数的正向传播函数是当输入值隐藏层值大于了就输出自己本身的值。
反向梯度传播当输出值大于0那么反向梯度值就等于输出值乘以1
如果小于0 那反向梯度值就等于0.
通俗的来说就是如果输入值是0或小于0那么输出值的反向增强就没有。
如果输入值大于0那么输出值的方向增强就有。正向增强。 第二sigmoid激活函数正向传播是1/(1e的-输入次方)反向梯度为输出*1-输出。
意义是如果输入的因素有100个输出的值有3个。当输入的第1个因素对输出的3个值都起作用时第1个因素就会被消除。这样做的原因是要找到可以鉴别输出的3个值的非别的因素的自己的因素。不知道你们是否理解有点拗口。 第三tanh没有特别的就是可以中心化的一种。也可能是我理解的不够透彻。目前理解到这里。
第四softmax函数
意义是如果输入的因素有100个输出的值有3个。当输入的第1个因素对输出的3个值都起作用时第1个因素不会被消除它只是在找更多的信息来支撑输出。让该有的正确的结果更加真确。
