当前位置： 首页 > news >正文 生成网站地图ui设计本科还是专科 news 2025/11/2 16:22:32 生成网站地图,ui设计本科还是专科,中国工商银行官网,一个完美的网站怎么做前言#xff1a;大型语言模型#xff08;LLMs#xff09;的发展历程可以说是非常长#xff0c;从早期的GPT模型一路走到了今天这些复杂的、公开权重的大型语言模型。最初#xff0c;LLM的训练过程只关注预训练#xff0c;但后来逐步扩展到了包括预训练和后训练在内的完整… 前言大型语言模型LLMs的发展历程可以说是非常长从早期的GPT模型一路走到了今天这些复杂的、公开权重的大型语言模型。最初LLM的训练过程只关注预训练但后来逐步扩展到了包括预训练和后训练在内的完整流程。后训练通常涵盖监督指导微调和对齐过程而这些在ChatGPT的推广下变得广为人知。 自ChatGPT首次发布以来训练方法学也在不断进化。在这几期的文章中我将回顾近1年中在预训练和后训练方法学上的最新进展。 关于LLM开发与训练流程的概览特别关注本文中讨论的新型预训练与后训练方法 每个月都有数百篇关于LLM的新论文提出各种新技术和新方法。然而要真正了解哪些方法在实践中效果更好一个非常有效的方式就是看看最近最先进模型的预训练和后训练流程。幸运的是在近1年中已经有四个重要的新型LLM发布并且都附带了相对详细的技术报告。 在本文中我将重点介绍以下模型中的谷歌的 Gemma 2语言模型 预训练和后训练流程 • 阿里巴巴的 Qwen 2 • 苹果的 智能基础语言模型 • 谷歌的 Gemma 2 • Meta AI 的 Llama 3.1 我会完整的介绍列表中的全部模型但介绍顺序是基于它们各自的技术论文在arXiv.org上的发表日期这也巧合地与它们的字母顺序一致。 谷歌的Gemma 2 谷歌的Gemma模型最近在《Gemma 2改进实用大小的开放语言模型》中有所描述。 我将在接下来的概述部分提供一些关键事实的概述然后讨论预训练和后训练过程。 3.1 Gemma 2概述 Gemma 2模型有三种规模20亿、90亿和270亿参数。主要关注的是探索不一定需要增加训练数据集大小的技术而是开发相对小且高效的LLM。 值得注意的是Gemma 2具有相当大的词汇量为256k词汇。相比之下Llama 2使用了32k词汇量Llama 3使用了128k词汇量。 此外Gemma 2采用了类似Mistral早期模型的滑动窗口注意力可能是为了减少内存成本。有关Gemma 2架构的更多细节请参阅我之前文章中的Gemma 2部分。 3.2 Gemma 2预训练 Gemma的研究人员认为即使是小型模型也常常训练不足。然而他们没有简单地增加训练数据集的大小而是专注于维护质量并通过其他方法如知识蒸馏类似于苹果的方法实现改进。 尽管270亿参数的Gemma 2模型是从头开始训练的较小的模型则使用了类似苹果之前解释的方法的知识蒸馏进行训练。 270亿参数的模型在13万亿标记上训练90亿参数的模型在8万亿标记上训练20亿参数的模型在2万亿标记上训练。此外类似于苹果的方法Gemma团队优化了数据混合以提升性能。 Gemma 2预训练技术总结。 3.3 Gemma 2后训练 Gemma模型的后训练过程包括典型的监督微调SFT和带人类反馈的强化学习RLHF步骤。 指令数据涉及使用仅英语的提示对这些是人工生成和合成生成内容的混合。具体来说也很有趣的是响应主要由教师模型生成并且在SFT阶段也应用了知识蒸馏。 他们的RLHF方法中一个有趣的方面继SFT之后是用于RLHF的奖励模型比政策目标模型大十倍。 Gemma使用的RLHF算法相当标准但有一个独特的转折他们通过一种称为WARP的方法平均了政策模型这是WARM加权平均奖励模型的后继者。我之前在我的文章《模型融合、专家混合及朝向更小LLM》中详细讨论过这种方法。 Gemma 2后训练技术总结。 3.4 结论 Gemma团队似乎真的加倍依赖知识蒸馏他们在预训练和后训练中都使用了这种方法与苹果类似。有趣的是他们没有使用多阶段预训练方法或者至少他们在论文中没有详细说明。 文章转载自： http://www.morning.hlfnh.cn.gov.cn.hlfnh.cn http://www.morning.kpfds.cn.gov.cn.kpfds.cn http://www.morning.zstbc.cn.gov.cn.zstbc.cn http://www.morning.pyxtn.cn.gov.cn.pyxtn.cn http://www.morning.cwzzr.cn.gov.cn.cwzzr.cn http://www.morning.rbkml.cn.gov.cn.rbkml.cn http://www.morning.wrtsm.cn.gov.cn.wrtsm.cn http://www.morning.bsjxh.cn.gov.cn.bsjxh.cn http://www.morning.mmhyx.cn.gov.cn.mmhyx.cn http://www.morning.wfykn.cn.gov.cn.wfykn.cn http://www.morning.phnbd.cn.gov.cn.phnbd.cn http://www.morning.lbzgt.cn.gov.cn.lbzgt.cn http://www.morning.kfhm.cn.gov.cn.kfhm.cn http://www.morning.xmrmk.cn.gov.cn.xmrmk.cn http://www.morning.sgjw.cn.gov.cn.sgjw.cn http://www.morning.rlpmy.cn.gov.cn.rlpmy.cn http://www.morning.cjwkf.cn.gov.cn.cjwkf.cn http://www.morning.lphtm.cn.gov.cn.lphtm.cn http://www.morning.xqspn.cn.gov.cn.xqspn.cn http://www.morning.jmmz.cn.gov.cn.jmmz.cn http://www.morning.tkjh.cn.gov.cn.tkjh.cn http://www.morning.njnqn.cn.gov.cn.njnqn.cn http://www.morning.gmdtk.cn.gov.cn.gmdtk.cn http://www.morning.ypbp.cn.gov.cn.ypbp.cn http://www.morning.tqbw.cn.gov.cn.tqbw.cn http://www.morning.ldcsw.cn.gov.cn.ldcsw.cn http://www.morning.ygkk.cn.gov.cn.ygkk.cn http://www.morning.yfcyh.cn.gov.cn.yfcyh.cn http://www.morning.tkgxg.cn.gov.cn.tkgxg.cn http://www.morning.enjoinfo.cn.gov.cn.enjoinfo.cn http://www.morning.jhxdj.cn.gov.cn.jhxdj.cn http://www.morning.bloao.com.gov.cn.bloao.com http://www.morning.fhxrb.cn.gov.cn.fhxrb.cn http://www.morning.mwkwg.cn.gov.cn.mwkwg.cn http://www.morning.cqyhdy.cn.gov.cn.cqyhdy.cn http://www.morning.rkmsm.cn.gov.cn.rkmsm.cn http://www.morning.zdxinxi.com.gov.cn.zdxinxi.com http://www.morning.tkztx.cn.gov.cn.tkztx.cn http://www.morning.bmgdl.cn.gov.cn.bmgdl.cn http://www.morning.jjhrj.cn.gov.cn.jjhrj.cn http://www.morning.kjyfq.cn.gov.cn.kjyfq.cn http://www.morning.lzjxn.cn.gov.cn.lzjxn.cn http://www.morning.fkyqm.cn.gov.cn.fkyqm.cn http://www.morning.nywrm.cn.gov.cn.nywrm.cn http://www.morning.zrdhd.cn.gov.cn.zrdhd.cn http://www.morning.fncgw.cn.gov.cn.fncgw.cn http://www.morning.sgnjg.cn.gov.cn.sgnjg.cn http://www.morning.vuref.cn.gov.cn.vuref.cn http://www.morning.yrpd.cn.gov.cn.yrpd.cn http://www.morning.cwqpl.cn.gov.cn.cwqpl.cn http://www.morning.qcdtzk.cn.gov.cn.qcdtzk.cn http://www.morning.tdmgs.cn.gov.cn.tdmgs.cn http://www.morning.mlhfr.cn.gov.cn.mlhfr.cn http://www.morning.wjhdn.cn.gov.cn.wjhdn.cn http://www.morning.pbsqr.cn.gov.cn.pbsqr.cn http://www.morning.wpcfm.cn.gov.cn.wpcfm.cn http://www.morning.glnmm.cn.gov.cn.glnmm.cn http://www.morning.rpms.cn.gov.cn.rpms.cn http://www.morning.guanszz.com.gov.cn.guanszz.com http://www.morning.phlrp.cn.gov.cn.phlrp.cn http://www.morning.kstgt.cn.gov.cn.kstgt.cn http://www.morning.rzdzb.cn.gov.cn.rzdzb.cn http://www.morning.rwjh.cn.gov.cn.rwjh.cn http://www.morning.cgstn.cn.gov.cn.cgstn.cn http://www.morning.rzysq.cn.gov.cn.rzysq.cn http://www.morning.rmppf.cn.gov.cn.rmppf.cn http://www.morning.xnpml.cn.gov.cn.xnpml.cn http://www.morning.ngqdp.cn.gov.cn.ngqdp.cn http://www.morning.njfgl.cn.gov.cn.njfgl.cn http://www.morning.qnzld.cn.gov.cn.qnzld.cn http://www.morning.fdxhk.cn.gov.cn.fdxhk.cn http://www.morning.qlwfz.cn.gov.cn.qlwfz.cn http://www.morning.dtnyl.cn.gov.cn.dtnyl.cn http://www.morning.fblkr.cn.gov.cn.fblkr.cn http://www.morning.smjyk.cn.gov.cn.smjyk.cn http://www.morning.jmllh.cn.gov.cn.jmllh.cn http://www.morning.mkfhx.cn.gov.cn.mkfhx.cn http://www.morning.lqypx.cn.gov.cn.lqypx.cn http://www.morning.lkbyj.cn.gov.cn.lkbyj.cn http://www.morning.cctgww.cn.gov.cn.cctgww.cn 查看全文 http://www.tj-hxxt.cn/news/271333.html 相关文章： 无锡营销型网站制作杨家坪网站建设 定制网站开发接私活cve wordpress 校友会网站建设爱用建站正规吗 衡水网站联系电话广州金融网站设计 宿州建设网站公司哪家好wordpress无法选择服务器配置 佛山网站优化建设电脑如何做穿透外网网站 互粉的网站是怎么做的百度怎么发布短视频 网站的类型是什么意思网站下载系统如何做系统 深圳画册设计网站wordpress 语言切换 高要区住房和城乡建设局网站网站开发怎么自动获取位置 网站开发公司特点有哪些可以做包装袋的网站 网站开发需要几个专业2018年做网站还能 公众号怎么推广产品网站排名优化方案 为什么要做一个营销型网站wordpress 自己创建主题 网站怎么做解析html链接网站模板 思途建站房地产设计院 网站模板织梦免费附近网站建设 营销型网站建设注意苏州高端网站建设定制 php网站建设案例教程视频wordpress dux 主题 做网站编辑校对河南做网站多少钱 自己设置网站wordpress可以制作app 网站开发公司安心加盟wordpress域名 文件 成都网站建设行业分析建筑材料网 合肥网站制作联系方式泉州seo优化排名公司 网站建设文化哪家好网站访问速度分析 珠宝首饰网站模板网站开发人员选项 什么什么设计英文网站高端的饰品行业网站开发 合肥做淘宝网站wordpress的替代 wordpress站长主题免费开店铺 做家政网站公司名称wordpress添加广告
