当前位置： 首页 > news >正文

网站建设管理典型经验材料网站为什么要挂服务器上

news 2025/11/6 8:10:17
网站建设管理典型经验材料,网站为什么要挂服务器上,银行门户网站开发,新乡网站设计公司2023年2月25日#xff0c;Meta使用2048张A100 GPU#xff0c;花费21天训练的Transformer大模型LLaMA开源了。 1.4T tokenstakes approximately 21 days 以下是觉得论文中重要的一些要点 1#xff09;相对较小的模型也可以获得不错的性能 研究者发现在给定计算能力限制的情…2023年2月25日Meta使用2048张A100 GPU花费21天训练的Transformer大模型LLaMA开源了。 1.4T tokenstakes approximately 21 days 以下是觉得论文中重要的一些要点 1相对较小的模型也可以获得不错的性能 研究者发现在给定计算能力限制的情况下最好的性能并不是来源于更大的模型而是来源于相对较小模型在更多的数据上进行训练。LLaMA就采用了这种策略LLaMA模型模型参数从7B到65B不等13B版本性能优于GPT-3(175B)65B版本获得相比目前最好模型差不多的性能。目前大家公认的大模型openai的GPT3系列参数量大约175B。LLaMA相比GPT-3在获得接近性能的前提下将参数量降低了一个数量级模型可在当前单卡GPU上部署。 2不一定要专业语料精细处理的开源语料也可以 LLaMA使用CommonCrawl、C4、Wikipedia、Books等语料并且引入了Github、XrXiv、StackExchange等开源专业语料模型也具备了不错的写代码、处理数据公式和推理的能力。 3各种稳定模型训练的优化技术必不可少 LLaMA基于Transformer模型架构并且应用了各种优化技术以加速和稳定模型的训练过程。 参考GPT3的训练经验使用RMSNorm标准化每个transformer block输入标准化输入能提高训练的稳定性。 参考PaLM经验使用SwiGLU激活函数替代ReLU激活函数。 参考GPTNeo使用RoPE位置编码替代原来的绝对位置编码。 同时LLaMA引入causal multi-head attention以减少计算和存储开销重写了transformer的backward以减少冗余计算同时考虑GPU的计算和通信的重叠加速训练。 LLaMA使用AdamW优化器并采用warmup技巧。其实我觉得AdaMax可能会更好些AdaMax在Speech上相比AdamW更稳定当然Speech数据和文本数据还是有较大差别的。 4LLaMA的模型的结果还是可以的 LLaMA在多个指标上同样获得了不错的性能获得和GPT3差不多的性能。 类似于GPT-3LLaMA也能没经过调优直接应用到下游任务具体为zero-shot task和few-shot task。 zero-shot不给参考例子在给定q时直接让模型生成回答a。few-shot则类似于给出参考例子给出1、5或64个qa对作为参考然后在给定同类型的q让模型生成回答a。以下是一个one-shot的例子。 在zero-shot和few-shot类任务中LLaMA获得不错的性能并不比更大的模型差(分数越高越好)。 同当前大模型GPT-3Gopher、Chinchilla、PaLM相比LLaMA在多个指标上获得明显的性能提升并且LLaMA在数学推理任务上获得更好的性能数学推理据说在chatGPT上栽了跟头。 虽然LLaMA在保证回答正确、没有偏见和对人类有用上花费了很多优化但正如论文所说由于预训练语料中的一些偏见模型可能会产生一些匪夷所思的答案。模型要真正服务人类可能还是需要使用RLHF使用人类反馈指导模型对问题回答的选择。 --- [1] LLaMA. llama/MODEL_CARD.md at main · facebookresearch/llama · GitHub [2] LLaMA: Open and Efficient Foundation Language Models. https://scontent-xsp1-1.xx.fbcdn.net/v/t39.8562-6/333078981_693988129081760_4712707815225756708_n.pdf?_nc_cat108ccb1-7_nc_sidad8a9d_nc_ohcov6yTHfLfNQAX_ixTyd_nc_htscontent-xsp1-1.xxoh00_AfDnH5IYrqTcFoOpLmrskeR_kQUe4To1BWUk-ZLv5unymgoe6401C9E2 [3] Illustrating Reinforcement Learning from Human Feedback (RLHF). Illustrating Reinforcement Learning from Human Feedback (RLHF)
文章转载自：
http://www.morning.lxhny.cn.gov.cn.lxhny.cn
http://www.morning.rykmz.cn.gov.cn.rykmz.cn
http://www.morning.rsnd.cn.gov.cn.rsnd.cn
http://www.morning.pndhh.cn.gov.cn.pndhh.cn
http://www.morning.rkxdp.cn.gov.cn.rkxdp.cn
http://www.morning.nqfxq.cn.gov.cn.nqfxq.cn
http://www.morning.trrhj.cn.gov.cn.trrhj.cn
http://www.morning.rykx.cn.gov.cn.rykx.cn
http://www.morning.kxryg.cn.gov.cn.kxryg.cn
http://www.morning.mypxm.com.gov.cn.mypxm.com
http://www.morning.ckfyp.cn.gov.cn.ckfyp.cn
http://www.morning.nfbkz.cn.gov.cn.nfbkz.cn
http://www.morning.ypktc.cn.gov.cn.ypktc.cn
http://www.morning.fzqfb.cn.gov.cn.fzqfb.cn
http://www.morning.fnfxp.cn.gov.cn.fnfxp.cn
http://www.morning.zfwjh.cn.gov.cn.zfwjh.cn
http://www.morning.rqxmz.cn.gov.cn.rqxmz.cn
http://www.morning.nwbnt.cn.gov.cn.nwbnt.cn
http://www.morning.yhwyh.cn.gov.cn.yhwyh.cn
http://www.morning.qhtlq.cn.gov.cn.qhtlq.cn
http://www.morning.cryb.cn.gov.cn.cryb.cn
http://www.morning.wfjyn.cn.gov.cn.wfjyn.cn
http://www.morning.ryjl.cn.gov.cn.ryjl.cn
http://www.morning.kzhgy.cn.gov.cn.kzhgy.cn
http://www.morning.bxqry.cn.gov.cn.bxqry.cn
http://www.morning.nfzw.cn.gov.cn.nfzw.cn
http://www.morning.mjyrg.cn.gov.cn.mjyrg.cn
http://www.morning.fjkkx.cn.gov.cn.fjkkx.cn
http://www.morning.yqndr.cn.gov.cn.yqndr.cn
http://www.morning.drcnf.cn.gov.cn.drcnf.cn
http://www.morning.mzpd.cn.gov.cn.mzpd.cn
http://www.morning.nqbcj.cn.gov.cn.nqbcj.cn
http://www.morning.trsmb.cn.gov.cn.trsmb.cn
http://www.morning.ysckr.cn.gov.cn.ysckr.cn
http://www.morning.lhzqn.cn.gov.cn.lhzqn.cn
http://www.morning.hmnhp.cn.gov.cn.hmnhp.cn
http://www.morning.qdxkn.cn.gov.cn.qdxkn.cn
http://www.morning.alwpc.cn.gov.cn.alwpc.cn
http://www.morning.hhpkb.cn.gov.cn.hhpkb.cn
http://www.morning.lxthr.cn.gov.cn.lxthr.cn
http://www.morning.4r5w91.cn.gov.cn.4r5w91.cn
http://www.morning.tkrwm.cn.gov.cn.tkrwm.cn
http://www.morning.rxwfg.cn.gov.cn.rxwfg.cn
http://www.morning.ddqdl.cn.gov.cn.ddqdl.cn
http://www.morning.sxmbk.cn.gov.cn.sxmbk.cn
http://www.morning.nwjzc.cn.gov.cn.nwjzc.cn
http://www.morning.dtnjr.cn.gov.cn.dtnjr.cn
http://www.morning.tjwfk.cn.gov.cn.tjwfk.cn
http://www.morning.attorneysportorange.com.gov.cn.attorneysportorange.com
http://www.morning.kfcfq.cn.gov.cn.kfcfq.cn
http://www.morning.ychrn.cn.gov.cn.ychrn.cn
http://www.morning.zrhhb.cn.gov.cn.zrhhb.cn
http://www.morning.ysllp.cn.gov.cn.ysllp.cn
http://www.morning.skkmz.cn.gov.cn.skkmz.cn
http://www.morning.pcgrq.cn.gov.cn.pcgrq.cn
http://www.morning.fppzc.cn.gov.cn.fppzc.cn
http://www.morning.rjmg.cn.gov.cn.rjmg.cn
http://www.morning.dwgcx.cn.gov.cn.dwgcx.cn
http://www.morning.ztdlp.cn.gov.cn.ztdlp.cn
http://www.morning.jrwbl.cn.gov.cn.jrwbl.cn
http://www.morning.rqpgk.cn.gov.cn.rqpgk.cn
http://www.morning.lcdtb.cn.gov.cn.lcdtb.cn
http://www.morning.zqdhr.cn.gov.cn.zqdhr.cn
http://www.morning.bbxbh.cn.gov.cn.bbxbh.cn
http://www.morning.gxcit.com.gov.cn.gxcit.com
http://www.morning.ccphj.cn.gov.cn.ccphj.cn
http://www.morning.kjyfq.cn.gov.cn.kjyfq.cn
http://www.morning.mbhdl.cn.gov.cn.mbhdl.cn
http://www.morning.jqzns.cn.gov.cn.jqzns.cn
http://www.morning.lmxrt.cn.gov.cn.lmxrt.cn
http://www.morning.c7513.cn.gov.cn.c7513.cn
http://www.morning.nwwzc.cn.gov.cn.nwwzc.cn
http://www.morning.hbxnb.cn.gov.cn.hbxnb.cn
http://www.morning.qinhuangdjy.cn.gov.cn.qinhuangdjy.cn
http://www.morning.rzrbw.cn.gov.cn.rzrbw.cn
http://www.morning.24vy.com.gov.cn.24vy.com
http://www.morning.ttrdr.cn.gov.cn.ttrdr.cn
http://www.morning.hxsdh.cn.gov.cn.hxsdh.cn
http://www.morning.jpjpb.cn.gov.cn.jpjpb.cn
http://www.morning.skrcn.cn.gov.cn.skrcn.cn
http://www.tj-hxxt.cn/news/281746.html

相关文章：

  • 建设网站虚拟主机是啥意思网页设计创建网站的基本流程
  • 做网站需要学会些什么软件wordpress动画轮播代码教程
  • 哪个网站做logo设计师个人怎样申请网站
  • 深圳建设工程交易服务网老网站中国采购网官方网站
  • 网站内页没有排名丹阳网站建设方案
  • 网站建设及推广开发枫林seo
  • php网站实例教程用vs2012做网站首页
  • 南宁网站制作价格清华大学学生工作做网站
  • 龙岩网站建设馨烨说说刷赞网站推广
  • 怎么做微信点击网站打赏看片分类信息系统网站模板
  • 如何管理企业网站做网站需要哪些费用
  • 找黄岩做网站企业济南做网站建设的公司电话
  • 网站开发公司外包新开传奇网站手游
  • 自己做网站需要几个软件做图片的网站有哪些
  • 重庆要做网站推广微信个人号管理系统
  • 酒店建筑设计网站做书的封面网站
  • 网站建设收益分析哪些网站可以用gif做头像
  • 建立网站需要多少钱 激发湖南岚鸿网站经营许可备案号
  • 搭建网站免费空间澄海玩具网站建设公司
  • 自适应网站建设公司夜夜做新郎网站
  • 网站开发流程可规划为哪三个阶段创建网站要多少钱
  • 建设网站的安全性电商行业建设网站
  • 网站404 模板游仙区专业网站建设价格
  • 网站建设详细描述产品的是什么制作 网站 盈利
  • 郑州专业手机网站制作网站模板psd
  • 中国建设银行网站公积金查询余额做网站要准备哪些
  • 现在还有企业要建网站吗如何做代刷网站
  • synology做网站服务器做网站主机要选好
  • 上海网站建设在哪里如何判断网站数据库类型
  • 网站建设业务饱和了吗承德建设网站公司