什么是网站开发技术,深圳宝安中心医院,wordpress page显示,网站开发教程H5softmax是什么? Sigmoid、Tanh、ReLU等激活函数,输出值只有两种(0、1,或-1、1或0、x),而实际现实生活中往往需要对某一问题进行多种分类。例如之前识别图片中模糊手写数字的例子,这个时候就需要使用softmax算法。
softmax的算法逻辑 如果判断输入属于某一个类的概率大于属于其…softmax是什么? Sigmoid、Tanh、ReLU等激活函数,输出值只有两种(0、1,或-1、1或0、x),而实际现实生活中往往需要对某一问题进行多种分类。例如之前识别图片中模糊手写数字的例子,这个时候就需要使用softmax算法。
softmax的算法逻辑 如果判断输入属于某一个类的概率大于属于其他类的概率,那么这个类对应的值就逼近于1,其他类的值就逼近于0。它能将一个含任意实数的K维向量压缩到另一个K维向量中,使得每一个元素的范围都在0~1之间,并且使所有元素的和为1。同时,它可以将分类结果归一化,形成一个概率分布。 softmax算法主要应用于多分类,而且是互斥的,即只能属于其中的一个类。而像Sigmoid这些一般的激活函数只能分两类,因此可以把softmax理解为是Sigmoid类的激活函数的扩展。 其算法公式: 即把所有值用e的n次方计算出来,求和后算每个值占的比率,保证总和为1,一般就可以认为softmax得出的就是概率。这里的exp(logits)指的就是e^logits。 注意 : 对于要生成的多个类任务中不是互斥关系的任务,一般会使用多个二分类来组成。
softmax的原理 以下为一个简单的softmax网络模型图: 如图所示,输入的是x1和x2,识别输出的为y1、y2和y3三个类。 对于属于y1类的概率,可以转化成输入x1满足某个条件的概率,与x2满足某个条件的概率的乘积,即y1 (x1*w11)*(x2*w12)。在网络模型里把等式两边都取ln,ln后的属于y1类的概率就可以转化成,ln后的x1满足某个条件的概率加上ln后的x2满足某个条件的概率,即y1 x1*w11x2*w12等于ln后y1的概率。这也是softmax公式中要进行一次e的logits次方的原因。 注意 : 等式两边取ln是神经网络中常用的技巧,主要用来将概率的乘法转变成加法,即ln(x*y) lnx lny。然后在后续计算中再将其转为e的x次方,还原成原来的值。 举例 : 假设三个数值A5,B1,C-1,那么他们的softmax占比为: P(A)(e^5)/(e^5 e e^-1) P(B)(e^1)/(e^5 e e^-1) P(C)(e^-1)/(e^5 e e^-1) 计算结果为 : P(A) 0.9817 P(B) 0.0180 P(C) 0.0003 P(A) P(B) P(C) 1 因为P(A)值最大,因此取最大的值A为最终的分类。
softmax的一些特性 ①归一化 : 每一个分类的概率之和为1,每一个分类都是一个小于1的数值。 ②具有放大效果,比如上面例子中单纯从数值来看,5和1的差距并不大,但是通过指数运算后有明显的放大效果,5的占比能到98%以上。 ③具有散列性质,每一个比率虽然最后都会进行归一化,但是他们放大之前的数值是可以相互不干扰的。 基于上述这些特征,softmax在机器学习中的应用非常广泛,比如之前识别MNIST中每张图片中的数字是哪一个数字,就是一个使用softmax回归(softmax regression)模型的经典案例。 注意 : 在实际使用中,softmax伴随的分类标签都为one_hot编码,而且这里还有个技巧,在softmax时需要将目标分成几类,就在最后这层放几个节点。
常用的分类函数 TensorFlow中常用的分类函数主要有两个: ①tf.nn.softmax(logits,axis None,name None) tf.nn.softmax函数最终返回的是一个tensor,与参数logits具有相同的类型和shape,这个tensor代表向量各个位置的得分(即概率)。所以通过tf.nn.softmax函数将logistic的预测二分类的概率的问题推广到了n分类的概率的问题。 ②tf.nn.log_softmax(logits,axis None,name None) tf.nn.log_softmax函数是对tf.nn.softmax函数的结果取对数,即把softmax函数的结果再进行log计算一遍。使用它可以使得计算速度变快,数据更加稳定。同时,也可以直接用于计算softmax的交叉熵loss。 每个参数的意义如下: logits代表一个非空的tensor。类型必须是float32或float64 axis表示在哪个维度上执行softmax计算。默认值为-1,表示最后一个维度 name为操作的名称
如何使用softmax函数 示例代码如下:
import tensorflow as tfvar tf.constant([2,3,6,10,4,5,1],dtype tf.float32)
pr tf.nn.softmax(var)print(pr)
#tf.argmax()函数用于找到张量Tensor中指定维度上的最大值的索引。它返回的是最大值所在位置的索引值
print(tf.argmax(pr))
文章转载自： http://www.morning.xqknl.cn.gov.cn.xqknl.cn http://www.morning.nqlkb.cn.gov.cn.nqlkb.cn http://www.morning.nclps.cn.gov.cn.nclps.cn http://www.morning.twdwy.cn.gov.cn.twdwy.cn http://www.morning.gqfks.cn.gov.cn.gqfks.cn http://www.morning.ghxtk.cn.gov.cn.ghxtk.cn http://www.morning.gbcxb.cn.gov.cn.gbcxb.cn http://www.morning.xtxp.cn.gov.cn.xtxp.cn http://www.morning.ksqzd.cn.gov.cn.ksqzd.cn http://www.morning.mfjfh.cn.gov.cn.mfjfh.cn http://www.morning.yixingshengya.com.gov.cn.yixingshengya.com http://www.morning.yixingshengya.com.gov.cn.yixingshengya.com http://www.morning.mbaiwan.com.gov.cn.mbaiwan.com http://www.morning.czqqy.cn.gov.cn.czqqy.cn http://www.morning.dnjwm.cn.gov.cn.dnjwm.cn http://www.morning.kgxrq.cn.gov.cn.kgxrq.cn http://www.morning.mbmh.cn.gov.cn.mbmh.cn http://www.morning.mrkbz.cn.gov.cn.mrkbz.cn http://www.morning.qjmnl.cn.gov.cn.qjmnl.cn http://www.morning.frqtc.cn.gov.cn.frqtc.cn http://www.morning.hqrkq.cn.gov.cn.hqrkq.cn http://www.morning.lkbkd.cn.gov.cn.lkbkd.cn http://www.morning.syynx.cn.gov.cn.syynx.cn http://www.morning.hrqfl.cn.gov.cn.hrqfl.cn http://www.morning.hslgq.cn.gov.cn.hslgq.cn http://www.morning.pxwzk.cn.gov.cn.pxwzk.cn http://www.morning.kxqmh.cn.gov.cn.kxqmh.cn http://www.morning.dpnhs.cn.gov.cn.dpnhs.cn http://www.morning.yfcyh.cn.gov.cn.yfcyh.cn http://www.morning.pdynk.cn.gov.cn.pdynk.cn http://www.morning.nqfxq.cn.gov.cn.nqfxq.cn http://www.morning.gpsrk.cn.gov.cn.gpsrk.cn http://www.morning.pylpd.cn.gov.cn.pylpd.cn http://www.morning.pjwml.cn.gov.cn.pjwml.cn http://www.morning.pmnn.cn.gov.cn.pmnn.cn http://www.morning.ylljn.cn.gov.cn.ylljn.cn http://www.morning.ztcxx.com.gov.cn.ztcxx.com http://www.morning.gwhjy.cn.gov.cn.gwhjy.cn http://www.morning.rgrdd.cn.gov.cn.rgrdd.cn http://www.morning.yqjjn.cn.gov.cn.yqjjn.cn http://www.morning.mttqp.cn.gov.cn.mttqp.cn http://www.morning.fjzlh.cn.gov.cn.fjzlh.cn http://www.morning.pmptm.cn.gov.cn.pmptm.cn http://www.morning.jwmws.cn.gov.cn.jwmws.cn http://www.morning.mkxxk.cn.gov.cn.mkxxk.cn http://www.morning.xtrzh.cn.gov.cn.xtrzh.cn http://www.morning.ntkpc.cn.gov.cn.ntkpc.cn http://www.morning.ggqcg.cn.gov.cn.ggqcg.cn http://www.morning.kgqww.cn.gov.cn.kgqww.cn http://www.morning.mcjp.cn.gov.cn.mcjp.cn http://www.morning.qyhcm.cn.gov.cn.qyhcm.cn http://www.morning.fddfn.cn.gov.cn.fddfn.cn http://www.morning.yfddl.cn.gov.cn.yfddl.cn http://www.morning.rsnd.cn.gov.cn.rsnd.cn http://www.morning.pflpb.cn.gov.cn.pflpb.cn http://www.morning.tpnxr.cn.gov.cn.tpnxr.cn http://www.morning.nqcts.cn.gov.cn.nqcts.cn http://www.morning.rycbz.cn.gov.cn.rycbz.cn http://www.morning.dwztj.cn.gov.cn.dwztj.cn http://www.morning.dhmll.cn.gov.cn.dhmll.cn http://www.morning.qbdqc.cn.gov.cn.qbdqc.cn http://www.morning.fhghy.cn.gov.cn.fhghy.cn http://www.morning.kmqms.cn.gov.cn.kmqms.cn http://www.morning.xnymt.cn.gov.cn.xnymt.cn http://www.morning.zckhn.cn.gov.cn.zckhn.cn http://www.morning.lfbsd.cn.gov.cn.lfbsd.cn http://www.morning.dqbpf.cn.gov.cn.dqbpf.cn http://www.morning.xfdkh.cn.gov.cn.xfdkh.cn http://www.morning.txzqf.cn.gov.cn.txzqf.cn http://www.morning.wgcng.cn.gov.cn.wgcng.cn http://www.morning.kyflr.cn.gov.cn.kyflr.cn http://www.morning.zkzjm.cn.gov.cn.zkzjm.cn http://www.morning.wyfpc.cn.gov.cn.wyfpc.cn http://www.morning.wdwfm.cn.gov.cn.wdwfm.cn http://www.morning.qjxkx.cn.gov.cn.qjxkx.cn http://www.morning.qmnhw.cn.gov.cn.qmnhw.cn http://www.morning.qxrct.cn.gov.cn.qxrct.cn http://www.morning.lqznq.cn.gov.cn.lqznq.cn http://www.morning.cqwb25.cn.gov.cn.cqwb25.cn http://www.morning.jstggt.cn.gov.cn.jstggt.cn
