当前位置： 首页 > news >正文 有免费可以做的网站吗上海公交建设公司官网 news 2025/11/3 11:09:55 有免费可以做的网站吗,上海公交建设公司官网,培训机构网站开发,网站编辑人才队伍建设文章目录 一、什么是模型蒸馏二、如何蒸馏三、常见问题3.1 四、参考文献 一、什么是模型蒸馏 Hinton在NIPS2014提出了知识蒸馏#xff08;Knowledge Distillation#xff09;的概念#xff0c;旨在把一个大模型或者多个模型ensemble学到的知识迁移到另一个轻量级单模型上Knowledge Distillation的概念旨在把一个大模型或者多个模型ensemble学到的知识迁移到另一个轻量级单模型上方便部署。简单的说就是用小模型去学习大模型的预测结果而不是直接学习训练集中的label。 在蒸馏的过程中原始大模型称为教师模型teacher新的小模型称为学生模型student训练集中的标签称为hard label教师模型预测的概率输出为soft labeltemperature(T)是用来调整soft label的超参数。 学习软标签之所以能work核心是因为好模型的目标不是拟合训练数据而是学习如何泛化到新的数据。原始论文表述是When the soft targets have high entropy, they provide much more information per training case than hard targets and much less variance in the gradient between training cases, so the small model can often be trained on much less data than the original cumbersome model and using a much higher learning rate. 二、如何蒸馏 之前提到学生模型需要通过教师模型的输出学习泛化能力那对于简单的二分类任务来说直接拿教师预测的0/1结果会与训练集差不多没什么意义那拿概率值是不是好一些于是Hinton采用了教师模型的输出概率q同时为了更好地控制输出概率的平滑程度给教师模型的softmax中加了一个参数T。 有了教师模型的输出后学生模型的目标就是尽可能拟合教师模型的输出新loss就变成了 其中CE是交叉熵Cross-Entropyy是真实labelp是学生模型的预测结果是蒸馏loss的权重。这里要注意的是因为学生模型要拟合教师模型的分布所以在求p时的也要使用一样的参数T。另外因为在求梯度时新的目标函数会导致梯度是以前的 所以要再乘上不然T变了的话hard label不减小T1但soft label会变。 有同学可能会疑惑如果可以拟合prob那直接拟合logits可以吗 当然可以Hinton在论文中进行了证明如果T很大且logits分布的均值为0时优化概率交叉熵和logits的平方差是等价的。 三、常见问题 3.1 四、参考文献 BERT蒸馏完全指南原理/技巧/代码 Distilling the Knowledge in a Neural Network 文章转载自： http://www.morning.jcpq.cn.gov.cn.jcpq.cn http://www.morning.rqpgk.cn.gov.cn.rqpgk.cn http://www.morning.rwhlf.cn.gov.cn.rwhlf.cn http://www.morning.mflhr.cn.gov.cn.mflhr.cn http://www.morning.xtgzp.cn.gov.cn.xtgzp.cn http://www.morning.lbssg.cn.gov.cn.lbssg.cn http://www.morning.mnwsy.cn.gov.cn.mnwsy.cn http://www.morning.rtlg.cn.gov.cn.rtlg.cn http://www.morning.kjksn.cn.gov.cn.kjksn.cn http://www.morning.rlcqx.cn.gov.cn.rlcqx.cn http://www.morning.rqxch.cn.gov.cn.rqxch.cn http://www.morning.tnjkg.cn.gov.cn.tnjkg.cn http://www.morning.jyznn.cn.gov.cn.jyznn.cn http://www.morning.clgbb.cn.gov.cn.clgbb.cn http://www.morning.routalr.cn.gov.cn.routalr.cn http://www.morning.vjwkb.cn.gov.cn.vjwkb.cn http://www.morning.rongxiaoman.com.gov.cn.rongxiaoman.com http://www.morning.mfsxd.cn.gov.cn.mfsxd.cn http://www.morning.hxwhyjh.com.gov.cn.hxwhyjh.com http://www.morning.sqgsx.cn.gov.cn.sqgsx.cn http://www.morning.zlkps.cn.gov.cn.zlkps.cn http://www.morning.mgskc.cn.gov.cn.mgskc.cn http://www.morning.sloxdub.cn.gov.cn.sloxdub.cn http://www.morning.ltfnl.cn.gov.cn.ltfnl.cn http://www.morning.jpzcq.cn.gov.cn.jpzcq.cn http://www.morning.lwnwl.cn.gov.cn.lwnwl.cn http://www.morning.jzsgn.cn.gov.cn.jzsgn.cn http://www.morning.jkzjs.cn.gov.cn.jkzjs.cn http://www.morning.sbdqy.cn.gov.cn.sbdqy.cn http://www.morning.fwqgy.cn.gov.cn.fwqgy.cn http://www.morning.kwrzg.cn.gov.cn.kwrzg.cn http://www.morning.cknws.cn.gov.cn.cknws.cn http://www.morning.chjnb.cn.gov.cn.chjnb.cn http://www.morning.qlsyf.cn.gov.cn.qlsyf.cn http://www.morning.kzslk.cn.gov.cn.kzslk.cn http://www.morning.bqdpy.cn.gov.cn.bqdpy.cn http://www.morning.gwjqq.cn.gov.cn.gwjqq.cn http://www.morning.grlth.cn.gov.cn.grlth.cn http://www.morning.jhrtq.cn.gov.cn.jhrtq.cn http://www.morning.zdgp.cn.gov.cn.zdgp.cn http://www.morning.zlgbx.cn.gov.cn.zlgbx.cn http://www.morning.dpplr.cn.gov.cn.dpplr.cn http://www.morning.kwz6232.cn.gov.cn.kwz6232.cn http://www.morning.uqrphxm.cn.gov.cn.uqrphxm.cn http://www.morning.ktsth.cn.gov.cn.ktsth.cn http://www.morning.tpfny.cn.gov.cn.tpfny.cn http://www.morning.xbxks.cn.gov.cn.xbxks.cn http://www.morning.lyhry.cn.gov.cn.lyhry.cn http://www.morning.nkpml.cn.gov.cn.nkpml.cn http://www.morning.wkqrp.cn.gov.cn.wkqrp.cn http://www.morning.jtwck.cn.gov.cn.jtwck.cn http://www.morning.grpfj.cn.gov.cn.grpfj.cn http://www.morning.qtxwb.cn.gov.cn.qtxwb.cn http://www.morning.pqkrh.cn.gov.cn.pqkrh.cn http://www.morning.kyfnh.cn.gov.cn.kyfnh.cn http://www.morning.qnpyz.cn.gov.cn.qnpyz.cn http://www.morning.bgpch.cn.gov.cn.bgpch.cn http://www.morning.gnwpg.cn.gov.cn.gnwpg.cn http://www.morning.bgnkl.cn.gov.cn.bgnkl.cn http://www.morning.ykmkz.cn.gov.cn.ykmkz.cn http://www.morning.cqwb25.cn.gov.cn.cqwb25.cn http://www.morning.plqqn.cn.gov.cn.plqqn.cn http://www.morning.wjxtq.cn.gov.cn.wjxtq.cn http://www.morning.qrzwj.cn.gov.cn.qrzwj.cn http://www.morning.fyglr.cn.gov.cn.fyglr.cn http://www.morning.dmwck.cn.gov.cn.dmwck.cn http://www.morning.nhgfz.cn.gov.cn.nhgfz.cn http://www.morning.ftmly.cn.gov.cn.ftmly.cn http://www.morning.fthcq.cn.gov.cn.fthcq.cn http://www.morning.qjfkz.cn.gov.cn.qjfkz.cn http://www.morning.sbrpz.cn.gov.cn.sbrpz.cn http://www.morning.txqgd.cn.gov.cn.txqgd.cn http://www.morning.hnrls.cn.gov.cn.hnrls.cn http://www.morning.ngjpt.cn.gov.cn.ngjpt.cn http://www.morning.pltbd.cn.gov.cn.pltbd.cn http://www.morning.xrnh.cn.gov.cn.xrnh.cn http://www.morning.jikuxy.com.gov.cn.jikuxy.com http://www.morning.pngdc.cn.gov.cn.pngdc.cn http://www.morning.xhwty.cn.gov.cn.xhwty.cn http://www.morning.kqhlm.cn.gov.cn.kqhlm.cn 查看全文 http://www.tj-hxxt.cn/news/273560.html 相关文章： 宜昌网站模板科技尽头 梅州建站教程现在做网站还赚钱吗 龙岗坪地网站建设公司做内贸的电子商务网站典型有 佛山外贸网站建设公司网站内容过滤 未成年做网站建筑工程类人才招聘 wordpress短信通知网站设计优化 德州极速网站建设小程序电子商务专业就业方向女生 南京建设网站企业怎么样才算大型网站开发 php盗版视频网站怎么做的软件定制开发公司在哪里 网站建设小企业案例湖南移动官网网站建设 开发一个网站系统报价专业性行业网站有哪些 山西省网站wordpress插件随机文章 专门做金融的招聘网站有一个做ppt的网站 做外国网用哪些网站有哪些公司网页制作 绍兴网站制作工具django做的电子商务网站 设计网站如何推广方案个人建站公司 php网站环境配置中国查公司的网站 如何管理建好的网站网站策划书基本内容 网站运营需要什么条件北京网站建设是什么意思 想建个网站找谁钢丝网片每平米价格 做牙科设计的网站神马搜索推广 一个网站能多个域名做不同站点wordpress 可道云 网站开发的响应式和兼容性问题网络营销的现状和发展趋势 赣州做网站优化电商网站开发总结与感受 联客易网站建设制作wordpress 7z 中国建设银行重庆网站首页wordpress免费虚拟主机 青海住房和城乡建设厅网站公司网站建设多少费用 企业网站优化兴田德润成都到西安机票 外贸网络推广招聘杭州seo网站推广排名 过年做那些网站致富网站新闻编辑怎么做
