凡科建站app,只有一个页面的网站,内蒙网络_网站建设,全能网站模板深度学习简介
1 深度学习简介 在介绍深度学习之前#xff0c;我们先看下这幅图#xff1a;⼈⼯智能 机器学习 深度学习 深度学习是机器学习的⼀个⼦集#xff0c;也就是说深度学习是实现机器学习的⼀种⽅法。与机器学习算法的主要区别如下图所示#xff1a; 传统…深度学习简介
1 深度学习简介 在介绍深度学习之前我们先看下这幅图⼈⼯智能 机器学习 深度学习 深度学习是机器学习的⼀个⼦集也就是说深度学习是实现机器学习的⼀种⽅法。与机器学习算法的主要区别如下图所示 传统机器学习算术依赖⼈⼯设计特征并进⾏特征提取⽽深度学习⽅法不需要⼈⼯⽽是依赖算法⾃动提取特征这也是深度学习被看做⿊盒⼦可解释性差的原因。 随着计算机软硬件的⻜速发展现阶段通过拥有众多层数神经⽹络 (Neural Network) 来模拟⼈脑来解释数据包括图像⽂本⾳频等内容。⽬前来看常⽤的神经⽹络包括 卷积神经⽹络(Convolutional Neural Network)循环神经⽹络(Recurrent Neural Network)⽣成对抗⽹络(Generative Adversarial Networks)深度强化学习(Deep Reinforcement Learning)等。 2 什么是神经⽹络 ⼈⼯神经⽹络 Artificial Neural Network 简写为 ANN 也简称为神经⽹络 NN 是⼀种模仿⽣物神经⽹络结构和功能的 计算模型。⼈脑可以看做是⼀个⽣物神经⽹络由众多的神经元连接⽽成。各个神经元传递复杂的电信号树突接收到输⼊信号然后对信号进⾏处理通过轴突输出信号。下图是⽣物神经元示意图 那怎么构建⼈⼯神经⽹络中的神经元呢 受⽣物神经元的启发⼈⼯神经元接收来⾃其他神经元或外部源的输⼊每个输⼊都有⼀个相关的权值 (w) 它是根据该输⼊对当前神经元的重要性来确定的对该输⼊加权并与其他输⼊求和后经过⼀个 激活函数 f 计算得到该神经元的输出。那接下来我们就利⽤神经元来构建神经⽹络相邻层之间的神经元相互连接并给每⼀个连接分配⼀个强度如下图所示 神经⽹络中信息 只向⼀个⽅向移动 即从输⼊节点向前移动通过隐藏节点再向输出节点移动⽹络中没有循环或者环。其中的基本构件是 输入层Input Layer: 即输入x的那一层如图像、文本、声音等。每个输入特征对应一个神经元。输入层将数据传递给下一层的神经元。输出层Output Layer: 即输出y的那一层。输出层的神经元根据网络的任务回归、分类等生成最终的预测结果。隐藏层Hidden Layers: 输入层和输出层之间都是隐藏层神经网络的“深度”通常由隐藏层的数量决定。隐藏层的神经元通过加权和激活函数处理输入并将结果传递到下一层。 特点是 同一层的神经元之间没有连接 第N层的每个神经元和第N-1层的所有神经元相连这就是Fully Connected的含义)这就是全连接神经网络FCNN全连接神经网络接收的样本数据是二维的数据在每一层之间需要以二维的形式传递第N-1层神经元的输出就是第N层神经元的输入每个连接都有一个权重值w系数和b系数 神经网络内部状态值和激活值 每一个神经元工作时 前向传播 会产生两个值 内部状态值加权求和值 和 激活值 反向传播 时会产生 激活值梯度 和 内部状态值梯度 。 内部状态值 神经元或隐藏单元的内部存储值它反映了当前神经元接收到的输入、历史信息以及网络内部的权重计算结果。 每个输入都有一个与之相乘的权重表示每个输入信号的重要性。zw⋅xb w权重矩阵x输入值b偏置 激活值 通过激活函数如 ReLU、Sigmoid、Tanh对内部状态值进行非线性变换后得到的结果。激活值决定了当前神经元的输出。af(z) f激活函数z内部状态值 3 神经元是如何⼯作的 ⼈⼯神经元接收到⼀个或多个输⼊对他们进⾏加权并相加总和通过⼀个 ⾮ 线性函数产⽣输出。 所有的输⼊xi与相应的权重wi相乘并求和 将求和结果送⼊到激活函数中得到最终的输出结果 5 神经⽹络的优缺点 1. 优点 精度⾼性能优于其他的机器学习⽅法甚⾄在某些领域超过了⼈类可以近似任意的⾮线性函数随之计算机硬件的发展近年来在学界和业界受到了热捧有⼤量的框架和库可供调⽤ 2. 缺点 ⿊箱很难解释模型是怎么⼯作的训练时间⻓需要⼤量的计算⼒⽹络结构复杂需要调整超参数⼩数据集上表现不佳容易发⽣过拟合 总结 知道深度学习与机器学习的关系 深度学习是机器学习的⼀个⼦集主要区别在是否包含特征⼯程 知道神经⽹络是什么 ⼀种模仿⽣物神经⽹络结构和功能的 计算模型 知道常⻅的激活函数 默认使⽤relu⼆分类是sigmoid, 多分类是softmaxs 知道参数初始化的常⻅⽅法 随机初始化标准初始化Xavier初始化He初始化 能够构建神经⽹络模型了解神经⽹络的优缺点
