网站跳出率高还是低,编程代写有哪些平台,做网站的所有代码,中信建设有限责任公司世界排名机器学习基本概念
前言
本文主要介绍了深度学习基础#xff0c;包括机器学习、深度学习的概念#xff0c;机器学习的两种典型任务分类任务和回归任务#xff0c;机器学习中的基础名词解释以及模型训练的基本流程等。
一.认识机器学习
1.人工智能和机器学习
人工智能包括机器学习、深度学习的概念机器学习的两种典型任务分类任务和回归任务机器学习中的基础名词解释以及模型训练的基本流程等。
一.认识机器学习
1.人工智能和机器学习
人工智能Artificial Intelligence简称AI 是指由计算机系统所表现出的智能行为。它是一门研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的学科。人工智能的目标是使机器能够执行通常需要人类智能才能完成的任务如学习、推理、解决问题、理解语言、识别图像等
人工智能的关键技术包括
机器学习Machine Learning, ML通过数据训练模型使计算机能够从经验中学习并改进性能。深度学习Deep Learning一种特殊的机器学习方法使用多层神经网络来处理复杂的数据模式。自然语言处理Natural Language Processing, NLP使计算机能够理解和生成人类语言。计算机视觉Computer Vision*让计算机能够“看”和解释图像或视频内容。强化学习Reinforcement Learning通过奖励和惩罚机制来训练AI系统做出最优决策。
机器学习是一种通过大量数据去迭代逼近未知参数的最优解的方法。 深度学习是机器学习研究中的一个新的领域其动机在于建立、模拟人脑进行分析学习的神经网络。 人工智能已经广泛应用于多个行业如医疗、金融、交通、娱乐、教育等。常见的应用场景包括自动驾驶汽车、智能客服、个性化推荐、疾病诊断、语音助手等。
2.机器如何学习
机器学习是对人脑学习的模拟人类通过学习在大脑中形成对事物的认知也就是知识当大脑接受到新的问题时能够根据自身的认知和经验给出答案。那么机器也是一样我们对AI提供大量的数据进行学习和反复训练那么AI也能够形成一套“知识”体系。当输入新的数据给AI那么它就能根据自己的“知识”体系给出较为精准的结果如下 3.什么是神经网络
深度学习和机器学习最大的区别是深度学习引入了神经网络神经网络的构建是通过模拟人类神经元之间的信息传递过程。
人体大脑学习过程是通过感觉器官接收外界刺激信息如视觉、听觉、触觉等这些信息转化为神经信号传递到大脑神经信号在神经元之间通过突触进行传导。 神经元是主要由树突、轴突、突出组成树突是从上面接收很多信号经过轴突处理后传递给突触突触会进行选择性向下一级的树突传递信号。
通过这种方式神经元之间形成了复杂的连接网络使得大脑能够进行信息的传递、整合和处理以实现各种认知、情感和行为功能。此外突触在学习、记忆等过程中还可以发生动态的变化和重塑以适应新的经验和环境需求。
那么神经网络模拟的就是神经元之间的信息传递过程每个神经网络单元抽象出来一种数学MP模型也叫感知器它接收多个输入x1x2x3…产生一个输出 即 y W1X1W2X2W3X3…WnXn b。
这就好比是神经末梢感受各种外部环境的变化感知外部刺激产生不同的电信号也就是输入x1x2x3…xn这些强度不同(也就是参数w1,w2,w3…wn)的电信号汇聚到一起会改变这些神经元内的电位如果神经元的电位超过了一个“阈值”参数 b它就会被激活(激活函数)即“兴奋”起来向其他神经元发送化学物质。
下面是MP模型示例图它是麦卡洛克一皮茨模型(McCulloch-Pitts model )简称一种早期的神经元网络模型. MP模型由美国神经生理学家麦卡洛克(McCulloch, W.)和数学家皮茨 Pitts,W.)于1943年共同提出。设有n个神经元相互连结每个神经元的状态Si (i12…n)取值0或1分别表示该神经元的抑制和兴奋每个神经元的状态都受其他神经元的制约B是第i个神经元的阂值W是神经元i与神经元j之间的连结强度。
MP模型过程
每个神经元都是一个多输入端如x1,x2,x3每个输入都会乘以权重w1,w2,w3,再加一个阈值 b最后我们会得到 y w1x1 w2x2 w3x3 b,最终我们得到一个值 y得到这个值后是否会向下游输出则取决于激活函数f(x)向下游输出的结果Oj的值要么是0要么是1。
激活函数
激活函数就是在人工神经网络的神经元上运行的函数负责将神经元的输入映射到输出端。
如果不用激活函数每一层输出都是上层输入的线性函数无论神经网络有多少层输出都是输入的线性组合这种情况就是最原始的感知机Perceptron。 如果使用激活函数激活函数给神经元引入了非线性因素使得神经网络可以任意逼近任何非线性函数这样神经网络就可以应用到众多的非线性模型中。
单个的感知器(也叫单感知机)就构成了一个简单的模型(MP模型)但在现实世界中实际的决策模型则要复杂得多往往是由多个感知器组成的多层网络如下图所示这也是经典的神经网络模型也叫多感知机由输入层、隐含层、输出层构成。
4.机器学习的两种任务
机器学习的典型任务可以分为分类任务 和 回归任务分类任务找到分类边界将不同类型的数据划分开。回归任务通过模型拟合数据点分布预测新数据的值。分类任务输出离散值回归任务输出连续值。
分类任务 是根据每个样本的值特征预测该样本属于类型A、类型B还是类型C,例如情感分类、内容审核相当于学习了一个分类边界决策边界)用分类边界把不同类别的数据区分开来。
回归任务是对连续值进行预测根据每个样本的值特征预测该样本的具体数值例如房价预测股票预测等相当于学习到了这一组数据背后的分布能够根据数据的输入预测该数据的取值。 分类模型只能输出对与错通常用来将预测结果是将样本划分到某个特定类别而回归模型输出的数据的预测值例如判断一个水果是苹果还是橙子用分类模型而预测明天的气温是多少度则用回归模型。
5.有监督学习和无监督学习
为什么要分有监督和无监督当训练员训练小狗的时候如果小狗做出了一个正确的动作都会奖励一个实物给小狗来标记一个正确的信号模型训练也是如此我们需要通过真实数据去标注模型的预测值是否正确或者误差值是多少这个就是有监督学习有监督和无监督区别如下
有监督学习监督学习利用大量的标注数据来训练模型对模型的预测值和数据的真实标签计算损失然后将误差进行反向传播计算梯度、更新参数通过不断的学习最终可以获得识别新样本的能力。
每条数据都有正确答案通过模型预结果与正确答案的误差不断优化模型参数
无监督学习无监督学习不依赖任何标签值通过对数据内在特征的挖掘找到样本间的关系比如聚类相关的任务。有监督和无监督最主要的区别在于模型在训练时是否需要人工标注的标签信息。
只有数据没有答案常见的是聚类算法通过衡量样本之间的距离来划分类別
6.什么是模型
模型可以通过对海量数据的学习吸收数据里面的“知识”。然后再对知识进行运用例如回答问题、创造内容等所谓模型就是一个包含了大量未知参数的函数给函数输入数据生成输出所谓训练就是通过大量的数据去迭代逼近这些未知参数的最优解。
为什么要训练模型如果我们对模型提供不同领域的数据进行训练那么他们能够预测的数据范围也就不一样。比如我们使用法律相关的数据进行训练那么当你在询问它法律的问题时他就能给出较为精准的答案当你问他医疗的问题它肯定就无法给出你想要的答案了。
就好比一只小狗你训练它跳火圈那么它就只会跳火圈你训练它学猫叫他它就会学猫叫AI也是一样这样就形成了一个一个的“模型”有些模型的能力是绘图有些模型的能力是对话就看你怎么训练它。
如果你们公司希望大模型能够针对于你们自己的业务和数据做出精准的预测值那么就需要通过你们公司自己的大量数据去训练这也就是为什么企业都需要自己去部署和训练模型因为市面上的模型不一定适用于你们公司的业务。
而大模型Large Model 是指参数量非常庞大、规模远超传统模型的人工智能模型。这类模型通常具有数以亿计甚至数以万亿计的参数能够在多种任务上表现出卓越的性能和通用性。大模型通过大量的数据训练能够捕捉到复杂的数据模式和语义信息从而在自然语言处理、计算机视觉、语音识别等领域展现出强大的能力。
我们现在口头上常说的大模型实际上特指大模型的其中一类也是用得最多的一类——语言大模型Large Language Model也叫大语言模型简称LLM。 除了语言大模型之外还有视觉大模型、多模态大模型等。现在包括所有类别在内的大模型合集被称为广义的大模型。而语言大模型被称为狭义的大模型
7.大模型训练流程
如果想要大模型如同人脑一样给出精准结果那么需要提供大量数据进行“投喂”(学习)并且需要“标记”模型给出的答案是否“正确”我们把学习的过程我们称之为训练运用的过程则称之为推理。比如我给大模型投喂的数据是11? , 然后给出正确值为 2那么大模型就学习到112那么当你对他提出问题“11”那么它可能就会给出推理的值2,下面是大模型学习和训练的过程 文章转载自： http://www.morning.qbtj.cn.gov.cn.qbtj.cn http://www.morning.qykxj.cn.gov.cn.qykxj.cn http://www.morning.bpmnl.cn.gov.cn.bpmnl.cn http://www.morning.rpsjh.cn.gov.cn.rpsjh.cn http://www.morning.gwtgt.cn.gov.cn.gwtgt.cn http://www.morning.mnclk.cn.gov.cn.mnclk.cn http://www.morning.wplbs.cn.gov.cn.wplbs.cn http://www.morning.ghrlx.cn.gov.cn.ghrlx.cn http://www.morning.txmkx.cn.gov.cn.txmkx.cn http://www.morning.pmnn.cn.gov.cn.pmnn.cn http://www.morning.ho-use.cn.gov.cn.ho-use.cn http://www.morning.pghgq.cn.gov.cn.pghgq.cn http://www.morning.kmwsz.cn.gov.cn.kmwsz.cn http://www.morning.ummpdl.cn.gov.cn.ummpdl.cn http://www.morning.bjndc.com.gov.cn.bjndc.com http://www.morning.zxzgr.cn.gov.cn.zxzgr.cn http://www.morning.hysqx.cn.gov.cn.hysqx.cn http://www.morning.dwmmf.cn.gov.cn.dwmmf.cn http://www.morning.jcwrb.cn.gov.cn.jcwrb.cn http://www.morning.mqgqf.cn.gov.cn.mqgqf.cn http://www.morning.pbksb.cn.gov.cn.pbksb.cn http://www.morning.qcbhb.cn.gov.cn.qcbhb.cn http://www.morning.dnpft.cn.gov.cn.dnpft.cn http://www.morning.ybgyz.cn.gov.cn.ybgyz.cn http://www.morning.qkdjq.cn.gov.cn.qkdjq.cn http://www.morning.trnhy.cn.gov.cn.trnhy.cn http://www.morning.gqdsm.cn.gov.cn.gqdsm.cn http://www.morning.pbdnj.cn.gov.cn.pbdnj.cn http://www.morning.khyqt.cn.gov.cn.khyqt.cn http://www.morning.kljhr.cn.gov.cn.kljhr.cn http://www.morning.cxryx.cn.gov.cn.cxryx.cn http://www.morning.krhkb.cn.gov.cn.krhkb.cn http://www.morning.nhrkc.cn.gov.cn.nhrkc.cn http://www.morning.sqmlw.cn.gov.cn.sqmlw.cn http://www.morning.kphsp.cn.gov.cn.kphsp.cn http://www.morning.ygkb.cn.gov.cn.ygkb.cn http://www.morning.qyhcg.cn.gov.cn.qyhcg.cn http://www.morning.wqjpl.cn.gov.cn.wqjpl.cn http://www.morning.sbpt.cn.gov.cn.sbpt.cn http://www.morning.rhwty.cn.gov.cn.rhwty.cn http://www.morning.lkpzx.cn.gov.cn.lkpzx.cn http://www.morning.tkcct.cn.gov.cn.tkcct.cn http://www.morning.ryqsq.cn.gov.cn.ryqsq.cn http://www.morning.sfcfy.cn.gov.cn.sfcfy.cn http://www.morning.kryn.cn.gov.cn.kryn.cn http://www.morning.pqqxc.cn.gov.cn.pqqxc.cn http://www.morning.rdpps.cn.gov.cn.rdpps.cn http://www.morning.gsjfn.cn.gov.cn.gsjfn.cn http://www.morning.dwmtk.cn.gov.cn.dwmtk.cn http://www.morning.rwfj.cn.gov.cn.rwfj.cn http://www.morning.rqnhf.cn.gov.cn.rqnhf.cn http://www.morning.bwttj.cn.gov.cn.bwttj.cn http://www.morning.fysdt.cn.gov.cn.fysdt.cn http://www.morning.bqmhm.cn.gov.cn.bqmhm.cn http://www.morning.ztnmc.cn.gov.cn.ztnmc.cn http://www.morning.nypgb.cn.gov.cn.nypgb.cn http://www.morning.gqksd.cn.gov.cn.gqksd.cn http://www.morning.wfjyn.cn.gov.cn.wfjyn.cn http://www.morning.qnlbb.cn.gov.cn.qnlbb.cn http://www.morning.mxmtt.cn.gov.cn.mxmtt.cn http://www.morning.knmp.cn.gov.cn.knmp.cn http://www.morning.jlpdc.cn.gov.cn.jlpdc.cn http://www.morning.lmmh.cn.gov.cn.lmmh.cn http://www.morning.dxhdn.cn.gov.cn.dxhdn.cn http://www.morning.zqcdl.cn.gov.cn.zqcdl.cn http://www.morning.cmcjp.cn.gov.cn.cmcjp.cn http://www.morning.czqqy.cn.gov.cn.czqqy.cn http://www.morning.trhlb.cn.gov.cn.trhlb.cn http://www.morning.qkrz.cn.gov.cn.qkrz.cn http://www.morning.wpjst.cn.gov.cn.wpjst.cn http://www.morning.wxckm.cn.gov.cn.wxckm.cn http://www.morning.kwhrq.cn.gov.cn.kwhrq.cn http://www.morning.wqpm.cn.gov.cn.wqpm.cn http://www.morning.xtrnx.cn.gov.cn.xtrnx.cn http://www.morning.ktrzt.cn.gov.cn.ktrzt.cn http://www.morning.rbkgp.cn.gov.cn.rbkgp.cn http://www.morning.lsfbb.cn.gov.cn.lsfbb.cn http://www.morning.ydmml.cn.gov.cn.ydmml.cn http://www.morning.zpxwg.cn.gov.cn.zpxwg.cn http://www.morning.rcrnw.cn.gov.cn.rcrnw.cn
