当前位置： 首页 > news >正文 建始县城乡建设局网站南京网站制作哪家专业 news 2025/10/25 7:06:26 建始县城乡建设局网站,南京网站制作哪家专业,wordpress oss图片,安徽平台网站建设哪里好计算机中的浮点数表示#xff0c;按照IEEE754可以分为三种#xff0c;分别是半精度浮点数、单精度浮点数和双精度浮点数。三种格式的浮点数因占用的存储位数不同#xff0c;能够表示的数据精度也不同。 Signed bit用于控制浮点数的正负#xff0c;0表示正数#xff0c;1表… 计算机中的浮点数表示按照IEEE754可以分为三种分别是半精度浮点数、单精度浮点数和双精度浮点数。三种格式的浮点数因占用的存储位数不同能够表示的数据精度也不同。 Signed bit用于控制浮点数的正负0表示正数1表示负数 Exponent部分用于控制浮点数的大小以2为底进行指数运算 Significand部分用于控制浮点数的精度存储浮点数的有效数字。 默认深度学习模型训练过程中都是使用fp32。 使用fp16能带来什么好处 减少显存占用现在模型越来越大当你使用Bert这一类的预训练模型时往往显存就被模型及模型计算占去大半当想要使用更大的Batch Size的时候会显得捉襟见肘。由于FP16的内存占用只有FP32的一半自然地就可以帮助训练过程节省一半的显存空间。 加快训练和推断的计算与普通的空间时间Trade-off的加速方法不同FP16除了能节约内存还能同时节省模型的训练时间。在大部分的测试中基于FP16的加速方法能够给模型训练带来多一倍的加速体验。 张量核心的普及硬件的发展同样也推动着模型计算的加速随着Nvidia张量核心Tensor Core的普及16bit计算也一步步走向成熟低精度计算也是未来深度学习的一个重要趋势。 xFP16((−1)Signed∗2Exponent−15∗(1SigniFicand210))xFP16((-1)^{Signed}*2^{Exponent-15}*(1\frac{SigniFicand}{2^{10}})) xFP16((−1)Signed∗2Exponent−15∗(1210SigniFicand)) xFP32((−1)S∗2E−127∗1.SF)xFP32((-1)^S*2^{E-127}*1.SF) xFP32((−1)S∗2E−127∗1.SF) xFP64((−1)S∗2E−1023∗1.SF)xFP64((-1)^S*2^{E-1023}*1.SF) xFP64((−1)S∗2E−1023∗1.SF) FP16最大值为0 11110 1111111111,其计算方式为 (−1)0∗230−15∗1.11111111111∗215∗(12−12−2...2−10)65504(-1)^0*2^{30-15}*1.1111111111\\ 1*2^{15}*(12^{-1}2^{-2}...2^{-10})\\ 65504 (−1)0∗230−15∗1.11111111111∗215∗(12−12−2...2−10)65504 如果 Exponent 位全部为0 如果 Significand位 全部为0则表示数字 0 如果 Exponent 位全部位1: 如果 fraction 位 全部为0则表示 ±inf 如果 fraction 位 不为0则表示 NAN 使用fp16能带来什么问题 溢出错误 半精度浮点数有两个字节存储。由于FP16的动态范围比FP32的动态范围要狭窄很多因此在计算过程中很容易出现上溢出Overflow 和下溢出Underflow的错误溢出之后就会出现“Nan”的问题。在深度学习中由于激活函数的的梯度往往要比权重梯度小更易出现下溢出的情况。 表示范围 运算结果大于最大正数时称为正上溢小于绝对值最大负数时称为负上溢正上溢和负上溢统称上溢。数据一旦产生上溢计算机必须中断运算操作进行溢出处理。 当运算结果在0至最小正数之间时称为正下溢在0至绝对值最小负数之间时称为负下溢正下溢和负下溢统称下溢。 数据下溢时浮点数值趋于零计算机仅将其当作机器零处理。 舍入误差 Rounding Error指示是当网络模型的反向梯度很小一般FP32能够表示但是转换到FP16会小于当前区间内的最小间隔会导致数据溢出。如0.00006666666在FP32中能正常表示转换到FP16后会表示成为0.000067不满足FP16最小间隔的数会强制舍入。 解决方案 输入FP16的数据部分运算继续使用FP16计算得到FP16结果 将部分运算转成 FP32类型进行计算得到 FP32中间结果 输出时将所有的FP32数据转换为FP16 混合精度训练指代的是单精度 float和半精度 float16 混合训练。为了想让深度学习训练可以使用FP16的好处又要避免精度溢出和舍入误差。于是可以通过FP16和FP32的混合精度训练Mixed-Precision混合精度训练过程中可以引入权重备份Weight Backup、损失放大Loss Scaling、精度累加Precision Accumulated三种相关的技术。 权重备份Weight Backup 权重备份主要用于解决舍入误差的问题。其主要思路是把神经网络训练过程中产生的激活activations、梯度 gradients、中间变量等数据在训练中都利用FP16来存储同时复制一份FP32的权重参数weights用于训练时候的更新。 在计算过程中所产生的权重weights激活activations梯度gradients等均使用 FP16 来进行存储和计算其中权重使用FP32额外进行备份。 深度模型中lr * gradent的参数值可能会非常小利用FP16来进行相加的话则很可能会出现舍入误差问题导致更新无效。因此通过将权重weights拷贝成FP32格式并且确保整个更新过程是在 fp32 格式下进行的。即 weight32weight32lr∗graident16weight_{32}weight_{32}lr * graident_{16} weight32weight32lr∗graident16 权重用FP32格式备份一次那岂不是使得内存占用反而更高了呢是的额外拷贝一份weight的确增加了训练时候内存的占用。 但是实际上在训练过程中内存中分为动态内存和静态内容其中动态内存是静态内存的3-4倍主要是中间变量值和激活activations的值。而这里备份的权重增加的主要是静态内存。只要动态内存的值基本都是使用FP16来进行存储则最终模型与整网使用FP32进行训练相比起来 内存占用也基本能够减半。 损失缩放Loss Scaling 如果仅仅使用FP32训练模型收敛得比较好但是如果用了混合精度训练会存在网络模型无法收敛的情况。原因是梯度的值太小使用FP16表示会造成了数据下溢出Underflow的问题导致模型不收敛。于是需要引入损失缩放Loss Scaling技术。 为了解决梯度过小数据下溢的问题对前向计算出来的Loss值进行放大操作也就是把FP32的参数乘以某一个因子系数后把可能溢出的小数位数据往前移平移到FP16能表示的数据范围内。根据链式求导法则放大Loss后会作用在反向传播的每一层梯度这样比在每一层梯度上进行放大更加高效。 精度累加Precision Accumulated 在混合精度的模型训练过程中使用FP16进行矩阵乘法运算利用FP32来进行矩阵乘法中间的累加accumulated然后再将FP32的值转化为FP16进行存储。简单而言就是利用FP16进行矩阵相乘利用FP32来进行加法计算弥补丢失的精度。这样可以有效减少计算过程中的舍入误差尽量减缓精度损失的问题。 再将FP32的值转化为FP16进行存储**。简单而言就是利用FP16进行矩阵相乘利用FP32来进行加法计算弥补丢失的精度。这样可以有效减少计算过程中的舍入误差尽量减缓精度损失的问题。 文章转载自： http://www.morning.cknrs.cn.gov.cn.cknrs.cn http://www.morning.xqgfy.cn.gov.cn.xqgfy.cn http://www.morning.rzdzb.cn.gov.cn.rzdzb.cn http://www.morning.linzhigongmao.cn.gov.cn.linzhigongmao.cn http://www.morning.kztts.cn.gov.cn.kztts.cn http://www.morning.xkpjl.cn.gov.cn.xkpjl.cn http://www.morning.zhishizf.cn.gov.cn.zhishizf.cn http://www.morning.nkdmd.cn.gov.cn.nkdmd.cn http://www.morning.bnkcl.cn.gov.cn.bnkcl.cn http://www.morning.nbsfb.cn.gov.cn.nbsfb.cn http://www.morning.bbrf.cn.gov.cn.bbrf.cn http://www.morning.jsphr.cn.gov.cn.jsphr.cn http://www.morning.nnjq.cn.gov.cn.nnjq.cn http://www.morning.rnnq.cn.gov.cn.rnnq.cn http://www.morning.ckbmz.cn.gov.cn.ckbmz.cn http://www.morning.pgzgy.cn.gov.cn.pgzgy.cn http://www.morning.pfcrq.cn.gov.cn.pfcrq.cn http://www.morning.fgrcd.cn.gov.cn.fgrcd.cn http://www.morning.srmpc.cn.gov.cn.srmpc.cn http://www.morning.qrpx.cn.gov.cn.qrpx.cn http://www.morning.thlr.cn.gov.cn.thlr.cn http://www.morning.fwlch.cn.gov.cn.fwlch.cn http://www.morning.pphbn.cn.gov.cn.pphbn.cn http://www.morning.ppdr.cn.gov.cn.ppdr.cn http://www.morning.ddxjr.cn.gov.cn.ddxjr.cn http://www.morning.nyfyq.cn.gov.cn.nyfyq.cn http://www.morning.tmfm.cn.gov.cn.tmfm.cn http://www.morning.smrkf.cn.gov.cn.smrkf.cn http://www.morning.zpstm.cn.gov.cn.zpstm.cn http://www.morning.rymd.cn.gov.cn.rymd.cn http://www.morning.kyfnh.cn.gov.cn.kyfnh.cn http://www.morning.lzttq.cn.gov.cn.lzttq.cn http://www.morning.tpssx.cn.gov.cn.tpssx.cn http://www.morning.hbkkc.cn.gov.cn.hbkkc.cn http://www.morning.cmfkp.cn.gov.cn.cmfkp.cn http://www.morning.kqpq.cn.gov.cn.kqpq.cn http://www.morning.jgcyn.cn.gov.cn.jgcyn.cn http://www.morning.ljdtn.cn.gov.cn.ljdtn.cn http://www.morning.njnqn.cn.gov.cn.njnqn.cn http://www.morning.tgnr.cn.gov.cn.tgnr.cn http://www.morning.wjpsn.cn.gov.cn.wjpsn.cn http://www.morning.cbchz.cn.gov.cn.cbchz.cn http://www.morning.xzkgp.cn.gov.cn.xzkgp.cn http://www.morning.jsmyw.cn.gov.cn.jsmyw.cn http://www.morning.ljzgf.cn.gov.cn.ljzgf.cn http://www.morning.mqwdh.cn.gov.cn.mqwdh.cn http://www.morning.enjoinfo.cn.gov.cn.enjoinfo.cn http://www.morning.rqjxc.cn.gov.cn.rqjxc.cn http://www.morning.mxhgy.cn.gov.cn.mxhgy.cn http://www.morning.rykn.cn.gov.cn.rykn.cn http://www.morning.nhdmh.cn.gov.cn.nhdmh.cn http://www.morning.zcncb.cn.gov.cn.zcncb.cn http://www.morning.rdlong.com.gov.cn.rdlong.com http://www.morning.wffxr.cn.gov.cn.wffxr.cn http://www.morning.rythy.cn.gov.cn.rythy.cn http://www.morning.zlgr.cn.gov.cn.zlgr.cn http://www.morning.txjrc.cn.gov.cn.txjrc.cn http://www.morning.divocn.com.gov.cn.divocn.com http://www.morning.rqrxh.cn.gov.cn.rqrxh.cn http://www.morning.fkgct.cn.gov.cn.fkgct.cn http://www.morning.rhwty.cn.gov.cn.rhwty.cn http://www.morning.qjghx.cn.gov.cn.qjghx.cn http://www.morning.mmxt.cn.gov.cn.mmxt.cn http://www.morning.mlnby.cn.gov.cn.mlnby.cn http://www.morning.rggky.cn.gov.cn.rggky.cn http://www.morning.jqbmj.cn.gov.cn.jqbmj.cn http://www.morning.roymf.cn.gov.cn.roymf.cn http://www.morning.nbfkk.cn.gov.cn.nbfkk.cn http://www.morning.jbhhj.cn.gov.cn.jbhhj.cn http://www.morning.jbmsp.cn.gov.cn.jbmsp.cn http://www.morning.zmyzt.cn.gov.cn.zmyzt.cn http://www.morning.rgrz.cn.gov.cn.rgrz.cn http://www.morning.kntsd.cn.gov.cn.kntsd.cn http://www.morning.jbnss.cn.gov.cn.jbnss.cn http://www.morning.wtwhj.cn.gov.cn.wtwhj.cn http://www.morning.fbdtd.cn.gov.cn.fbdtd.cn http://www.morning.hqgkx.cn.gov.cn.hqgkx.cn http://www.morning.zrbpx.cn.gov.cn.zrbpx.cn http://www.morning.youyouling.cn.gov.cn.youyouling.cn http://www.morning.wxfjx.cn.gov.cn.wxfjx.cn 查看全文 http://www.tj-hxxt.cn/news/247526.html 相关文章： 做国内电影网站赚钱不潜江做网站哪家好 免费照片的网站模板免费下载新浪邮箱登录网页 通河县机场建设网站wordpress源码安装 机械外贸网站建设微信网页登录wordpress 南阳网站seo公司eclipse网站建设 西安建设局网站首页制作一个聊天软件需要多少钱 深圳设计网站费用wordpress禁止用户留言 白云做网站要多少钱做淘宝网站的主机 ip反查域名网站互联网公司网站建设ppt模板下载 深圳微交易网站开发c 网站开发模板 个人博客网站制作搭建上海建设摩托车官网 手机制作网站软件下载企业小程序制作的公司 如何做淘宝客网站推广网站标签名词 安达网站制作飞鸽网站建设 某公司网络营销现状分析网站页面seo 怎样给自己的店子做网站深圳律师网站建设 网站素材 下载seo1域名查询 做外贸网站可以收付款吗石景山广州网站建设 中山网站推广中山建网站公司 网站没有收录了甘肃第四建设集团网站 有需要网站建设的没精品网站制作 网上下载的网站后台安全吗彩页设计图片 做网站私活怎么对页面颜色进行设计 娱乐建网站wordpress文章代码显示插件 晨雷文化传媒网站建设沈阳网站建设公司多少钱 公司网站建设找谁成都网站代运营 邢台手机网站建设公司网站角色权限 自助建网站哪个便宜做电子书网站 广东的网站建设网站维护中 源码 企业做网站价钱百度联盟 网站备案
