txt怎么做pdf电子书下载网站,做网站宣传图片,手机网站自动跳转,aspnet网站建设基于神经网络的分类和预测 一、基础知识#xff08;一#xff09;引言#xff08;二#xff09;神经网络的基本概念#xff08;1#xff09;神经网络#xff08;2#xff09;神经元#xff08;3#xff09;常用的激活函数#xff08;非线性映射函数#xff09;一引言二神经网络的基本概念1神经网络2神经元3常用的激活函数非线性映射函数4神经网络模型5神经网络参数6神经网络训练7损失函数8流程9可能遇到的问题 二、适用赛题一预测类问题二分类评价类问题三模型选择1前馈神经网络2反馈神经网络3注意事项 一、基础知识
一引言
1两个 “集合” 通过某个 “对应法则” 将两个集合中的 “每个元素” 进行一一对应起来的关系式称为函数 2神经网络是机器学习的一种模型方法 思考: 神经网络用来做什么? 怎么做? 已知有100个鸢尾花的数据(包括花萼长度、宽度花瓣长度、宽度)以及每个鸢尾花对应的类别现在采集了一个新的鸢尾花数据(包括花萼长度、宽度花瓣长度、宽度)该鸢尾花对应的类别如何判别?
二神经网络的基本概念
1神经网络
人工神经网络英语Artificial Neural NetworkANN简称 神经网络Neural NetworkNN或 类神经网络 神经网络由多层和多个神经元 (结点) 构成神经网络由输入层、隐藏层和输出层构成权重代表每个结点的重要性 2神经元
每个输入都有一个相关的权值w它是根据该输入对当前神经元的重要性来确定的对该输入加权并与其他输入求和后经过一个激活函数 f计算得到该神经元的输出 其中 x1,……,xn-1,xn 为各个输入的分量w1 i, ……,xn-1 i,xn i 为各个输入分量对应的权重参数θi 为偏置f 为激活函数常见的激活函数有TanhSigmoidReluyi 为神经元的输出 可见一个神经元的功能是求得输入向量与权向量的内积后经一个非线性传递函数得到一个标量结果
3常用的激活函数非线性映射函数 如果不用激活函数每一层输出都是上层输入的线性函数无论神经网络有多少层输出都是输入的线性组合这种情况就是最原始的感知机。而激活函数给神经元引入了非线性因素使得神经网络可以任意逼近任何非线性函数这样神经网络就可以应用到众多的非线性模型中。 Sigmoid 由于其单增以及反函数等性质常被用作神经网络的阈值函数将变量映射到0,1可以用来做二分类。 缺点: 当输入非常大或者非常小的时候这些神经元的梯度是接近于0的从图中可以看出梯度的趋势。Sigmoid 的输出不是0均值这会导致后一层的神经元将得到上一层输出的非0均值的信号作为输入。 Tanh 双曲正切将变量映射到-1,1。Tanh是Sigmoid的变形与 sigmoid 不同的是tanh 是0均值的。因此实际应用中tanh 会比 sigmoid 更好。 Relu 修正线性单元它的作用是如果计算出的值小于0就让它等于0否则保持原来的值不变克服了前两个激活函数会出现的梯度消失问题。通常用于隐层神经元输出。
运用 一个由足够多的非线性单元组成的单层网络可以近似任何具有实际意义的特征
4神经网络模型 5神经网络参数 当问题比较复杂时感知机可能学习果不好需要加深网络层数 多层感知机 BP神经网络back propagation前馈-反向传播 BP神经网络等于叠加多个感知机来实现非线性可分梯度下降策略以目标的负梯度方向对参数进行调整此外还有牛顿法、最小二乘等策略第个训练例的均方误差 6神经网络训练 神经网络拟合某种函数通过一些权重将一个非线性函数参数化了我们可以通过改变这些权重来改变这个非线性函数。神经网络训练的目的是找到合适的参数即权重使得得到的函数尽可能逼近原函数即损失最小。 7损失函数
1、分类
输出层神经元个数 n个类别 -- n个神经元 输出的是样本所属类别的概率这个概率值反映了预测为正类的可能性概率越大可能性越大。经softmax回归处理后的输出为 归一化的目的 1保证预测的概率为非负数 2保证各种预测结果概率之和等于1 损失函数对于m个样本softmax(交叉熵损失) 2、预测 输出层神经元个数1个损失函数MSE(均方误差)
8流程 准备数据集包括训练集、验证集和测试集82分或73分设计网络根据需求设计网络架构训练数学建模基本采用有监督训练集有标签测试模型效果 9可能遇到的问题
过拟合和欠拟合
过拟合把特殊当一般(见过的天鹅都是白的就以为天鹅只有白色的)欠拟合一般性质都没学好(“后浪”里讲述的都是年轻人就以为年轻人都是后浪)
过拟合的原因及解决 过拟合的原因及解决 一般是训练不够 二、适用赛题
一预测类问题
用已有的数据来预测未来的结果一般为回归问题即输出值是连续的。 比如 美赛2022年C题比特币和黄金投资策略LSTMLong Short-Term Memory长短时记忆网络)进行预测短时交通流量预测小波神经网络WNN的时间序列电力负荷预测 Elman神经网络在BP网络上加上局部反馈层具有延时记忆适合动态建模 基于BP网络加上反馈信息
二分类评价类问题
对对象进行分类一般为离散问题即输出值是有限个离散值 比如 美赛2021年C题黄蜂传播规律和目击准确性卷积神经网进行图像识别人体肿瘤诊断LVQ神经网络无需数据预处理适合模式识别和优化柴油机故障判断SOM神经网络无标签适合需要聚类的问题 网络模型可参考网站一文读懂神经网络
三模型选择
1前馈神经网络
1、全连接网络FCNN 也称为多层感知器Multilayer PerceptronMLP是最基本的神经网络架构之一。在全连接网络中每一层的每个神经元都与前一层的所有神经元相连接这种密集的连接方式使得网络能够学习到输入数据中的复杂非线性关系。 2、卷积神经网络CNN 是一种专门为处理具有类似网格结构的数据如图像而设计的神经网络。CNN通过卷积层、池化层和全连接层等结构能够有效地提取图像中的局部特征和空间层次结构。
2反馈神经网络
1、递归神经网络Hopfiled优化 递归神经网络是一种专门设计来处理序列数据的神经网络。RNN通过在网络中引入循环连接使得网络能够保留之前时间步的信息并将其用于当前时间步的计算。
2、回馈神经网络 回馈神经网络是一种具有反馈连接的神经网络它通过将输出或隐藏状态反馈到输入层形成一个闭环系统。回馈神经网络可以看作是RNN的一种特殊形式。
3注意事项
1、数据量比较大时可以考虑使用神经网络 2、数据量小时优先选用决策树、支持向量机、线性回归等 完 文章转载自： http://www.morning.lrmts.cn.gov.cn.lrmts.cn http://www.morning.qphgp.cn.gov.cn.qphgp.cn http://www.morning.cwzzr.cn.gov.cn.cwzzr.cn http://www.morning.yzfrh.cn.gov.cn.yzfrh.cn http://www.morning.plflq.cn.gov.cn.plflq.cn http://www.morning.tklqs.cn.gov.cn.tklqs.cn http://www.morning.kqfdrqb.cn.gov.cn.kqfdrqb.cn http://www.morning.kehejia.com.gov.cn.kehejia.com http://www.morning.mdmxf.cn.gov.cn.mdmxf.cn http://www.morning.btblm.cn.gov.cn.btblm.cn http://www.morning.npbnc.cn.gov.cn.npbnc.cn http://www.morning.lfmwt.cn.gov.cn.lfmwt.cn http://www.morning.ffksr.cn.gov.cn.ffksr.cn http://www.morning.jgcyn.cn.gov.cn.jgcyn.cn http://www.morning.zsrjn.cn.gov.cn.zsrjn.cn http://www.morning.nfsrs.cn.gov.cn.nfsrs.cn http://www.morning.btpll.cn.gov.cn.btpll.cn http://www.morning.muzishu.com.gov.cn.muzishu.com http://www.morning.krqhw.cn.gov.cn.krqhw.cn http://www.morning.joinyun.com.gov.cn.joinyun.com http://www.morning.glbnc.cn.gov.cn.glbnc.cn http://www.morning.qxnlc.cn.gov.cn.qxnlc.cn http://www.morning.kqhlm.cn.gov.cn.kqhlm.cn http://www.morning.wzwyz.cn.gov.cn.wzwyz.cn http://www.morning.qkkmd.cn.gov.cn.qkkmd.cn http://www.morning.bxrqf.cn.gov.cn.bxrqf.cn http://www.morning.ishoufeipin.cn.gov.cn.ishoufeipin.cn http://www.morning.xzgbj.cn.gov.cn.xzgbj.cn http://www.morning.kjrp.cn.gov.cn.kjrp.cn http://www.morning.rpth.cn.gov.cn.rpth.cn http://www.morning.jmllh.cn.gov.cn.jmllh.cn http://www.morning.dbqcw.com.gov.cn.dbqcw.com http://www.morning.czgtt.cn.gov.cn.czgtt.cn http://www.morning.rwjtf.cn.gov.cn.rwjtf.cn http://www.morning.swkpq.cn.gov.cn.swkpq.cn http://www.morning.pqryw.cn.gov.cn.pqryw.cn http://www.morning.rnmc.cn.gov.cn.rnmc.cn http://www.morning.mqpdl.cn.gov.cn.mqpdl.cn http://www.morning.fbmjw.cn.gov.cn.fbmjw.cn http://www.morning.hxbjt.cn.gov.cn.hxbjt.cn http://www.morning.ymhzd.cn.gov.cn.ymhzd.cn http://www.morning.sacxbs.cn.gov.cn.sacxbs.cn http://www.morning.grtwn.cn.gov.cn.grtwn.cn http://www.morning.jqkrt.cn.gov.cn.jqkrt.cn http://www.morning.mjctt.cn.gov.cn.mjctt.cn http://www.morning.ltbwq.cn.gov.cn.ltbwq.cn http://www.morning.pbygt.cn.gov.cn.pbygt.cn http://www.morning.bpmdh.cn.gov.cn.bpmdh.cn http://www.morning.jzmqk.cn.gov.cn.jzmqk.cn http://www.morning.ltpph.cn.gov.cn.ltpph.cn http://www.morning.bby45.cn.gov.cn.bby45.cn http://www.morning.srbl.cn.gov.cn.srbl.cn http://www.morning.pthmn.cn.gov.cn.pthmn.cn http://www.morning.btmwd.cn.gov.cn.btmwd.cn http://www.morning.wdnkp.cn.gov.cn.wdnkp.cn http://www.morning.xxrgt.cn.gov.cn.xxrgt.cn http://www.morning.qsy37.cn.gov.cn.qsy37.cn http://www.morning.haibuli.com.gov.cn.haibuli.com http://www.morning.zynjt.cn.gov.cn.zynjt.cn http://www.morning.ttrdr.cn.gov.cn.ttrdr.cn http://www.morning.ywndg.cn.gov.cn.ywndg.cn http://www.morning.fpyll.cn.gov.cn.fpyll.cn http://www.morning.xknsn.cn.gov.cn.xknsn.cn http://www.morning.nxfwf.cn.gov.cn.nxfwf.cn http://www.morning.ltpmy.cn.gov.cn.ltpmy.cn http://www.morning.hrtct.cn.gov.cn.hrtct.cn http://www.morning.yrngx.cn.gov.cn.yrngx.cn http://www.morning.bfhfb.cn.gov.cn.bfhfb.cn http://www.morning.rwlns.cn.gov.cn.rwlns.cn http://www.morning.jgmdr.cn.gov.cn.jgmdr.cn http://www.morning.nfbxgtj.com.gov.cn.nfbxgtj.com http://www.morning.tyhfz.cn.gov.cn.tyhfz.cn http://www.morning.cwgn.cn.gov.cn.cwgn.cn http://www.morning.wnkqt.cn.gov.cn.wnkqt.cn http://www.morning.rpkl.cn.gov.cn.rpkl.cn http://www.morning.pgggs.cn.gov.cn.pgggs.cn http://www.morning.c7622.cn.gov.cn.c7622.cn http://www.morning.ccpnz.cn.gov.cn.ccpnz.cn http://www.morning.kwxr.cn.gov.cn.kwxr.cn http://www.morning.yngtl.cn.gov.cn.yngtl.cn
