网站开发 承接,浙江网站建设正规公司,wordpress prefix,咖啡厅网站开发目标文章目录 softmax loss1.softmax函数2.交叉熵损失函数3.softmax loss损失函数#xff08;重点#xff09;4.带有temperature参数的softmax loss参考 softmax loss
1.softmax函数
softmax函数是一种常用的激活函数#xff0c;通常用于多分类任务中。给定一个向量#xff0… 文章目录 softmax loss1.softmax函数2.交叉熵损失函数3.softmax loss损失函数重点4.带有temperature参数的softmax loss参考 softmax loss
1.softmax函数
softmax函数是一种常用的激活函数通常用于多分类任务中。给定一个向量softmax函数将每个元素转化为一个介于0~1之间的概率值并且所有元素的概率之和为1。softmax函数的定义如下 softmax ( z ) i e z i ∑ j 1 K e z j \operatorname{softmax}(z)_i\frac{e^{z_i}}{\sum_{j1}^Ke^{z_j}} softmax(z)i∑j1Kezjezi 其中 z z z是输入向量 K K K是向量的维度。softmax函数的作用是将输入的原始分数通常称之为logits1转化为表示各个类别概率的分布。
2.交叉熵损失函数
交叉熵损失函数是用来衡量两个概率分布之间的差异性的一种度量方式。在深度学习中常用交叉熵损失函数来衡量模型预测的概率分布与真实标签的分布之间的差异从而作为优化目标来训练模型。
对于二分类问题交叉熵损失函数的定义如下 Binary Cross Entropy Loss − 1 N ∑ i 1 N [ y i log ( p i ) ( 1 − y i ) log ( 1 − p i ) ] \text{Binary Cross Entropy Loss}-\frac1N\sum_{i1}^N\left[y_i\log(p_i)(1-y_i)\log(1-p_i)\right] Binary Cross Entropy Loss−N1i1∑N[yilog(pi)(1−yi)log(1−pi)] 其中 y i y_i yi是真实标签 p i p_i pi是模型预测的概率值 N N N是样本数。
对于多分类问题交叉熵损失函数的定义如下 Cross Entropy Loss − 1 N ∑ i 1 N ∑ k 1 K y i , k log ( p i , k ) \text{Cross Entropy Loss}-\frac1N\sum_{i1}^N\sum_{k1}^Ky_{i,k}\log(p_{i,k}) Cross Entropy Loss−N1i1∑Nk1∑Kyi,klog(pi,k) 其中 y i , k y_{i,k} yi,k是第 i i i 个样本属于第 k k k 个类别的真实标签 p i , k p_{i,k} pi,k 是模型预测的第 i i i 个样本属于第 k k k 个类别的概率值 N N N 是样本数 K K K 是类别数。
3.softmax loss损失函数重点
softmax loss是深度学习中最常见的损失函数完整的叫法为 Cross-entropy loss with softmax。softmax loss 由Fully Connected LayerSoftmax Function和Cross-entropy Loss组成。 softmax loss就是将softmax函数和交叉熵损失函数结合在了一起。 Softmax Loss − 1 N ∑ i 1 N ∑ k 1 K y i , k log ( exp ( z i , k ) ∑ j 1 K exp ( z i , j ) ) \text{Softmax Loss}-\frac1N\sum_{i1}^N\sum_{k1}^Ky_{i,k}\log\left(\frac{\exp(z_{i,k})}{\sum_{j1}^K\exp(z_{i,j})}\right) Softmax Loss−N1i1∑Nk1∑Kyi,klog(∑j1Kexp(zi,j)exp(zi,k)) 其中 y i , k y_{i,k} yi,k 是第 i i i 个样本属于第 k k k 个类别的真实标签当样本 i i i 属于类别 k k k 时 y i , k 1 y_{i,k}1 yi,k1否则 y i , k 0 y_{i,k}0 yi,k0。 z i , k z_{i,k} zi,k 是样本 i i i 关于类别 k k k 的得分logits N N N 是样本数 K K K 是类别数。
4.带有temperature参数的softmax loss
带有温度参数 T T T 的 softmax loss的损失函数如下 Loss − 1 N ∑ i 1 N ∑ k 1 K y i , k log ( exp ( z i , k / T ) ∑ j 1 K exp ( z i , j / T ) ) \text{Loss}-\frac1N\sum_{i1}^N\sum_{k1}^Ky_{i,k}\log\left(\frac{\exp(z_{i,k}/T)}{\sum_{j1}^K\exp(z_{i,j}/T)}\right) Loss−N1i1∑Nk1∑Kyi,klog(∑j1Kexp(zi,j/T)exp(zi,k/T))
参考
1.Large-Margin Softmax Loss for Convolutional Neural Networks
2.Softmax Loss推导过程以及改进
3.深度学习中的温度参数Temperature Parameter是什么? logits就是一个向量该向量下一步通常被输入到激活函数中如softmax、sigmoid中。 ↩︎
