产品网站策划,广州网站建设方案维护,wordpress主题怎么编辑,简历免费在线制作网站最近发现#xff0c;深度学习可以分为两个主要的阶段#xff0c;分别是前向推理以及反向传播#xff0c;分别对应着网络的推理和参数训练两个步骤。其中推理有时候也称为归纳推理。 在做参数训练的时候#xff0c;本质上是在利用历史数据求网络参数的先验分布#xff1b; …最近发现深度学习可以分为两个主要的阶段分别是前向推理以及反向传播分别对应着网络的推理和参数训练两个步骤。其中推理有时候也称为归纳推理。 在做参数训练的时候本质上是在利用历史数据求网络参数的先验分布 p ( θ ∣ x , y ) p(\theta | x,y) p(θ∣x,y) 在推理的时候本质是在基于训练好的参数进行极大似然估计。 p ( y ∣ x , θ ) p(y |x, \theta) p(y∣x,θ)
此外深度学习解决问题时往往先假设所有的参数都能够训练到最优 θ ∗ \theta^* θ∗然后在这个最优训练参数假设下构建前向网络进行建模。等建模表征完之后再去基于数据和优化器把参数训练到最优。这个思想其实和数学归纳法里面的先假设某个条件成立再去做其他事情然后再反过来优化这个条件很像也和EM估计的思想很像。
这也可以解释为什么很多网络结构的改进的论文本质上是提供了参数交互的接口让网络有机会对某种类型的数据进行建模和表征然后再去对其进行训练。
