当前位置： 首页 > news >正文 电商网站推广做网站怎样连数据库 news 2025/10/24 19:07:42 电商网站推广,做网站怎样连数据库,杭江建设有限公司,网站开发 外文文献微调#xff08;fine-tuning#xff09;就是利用特有数据和技巧将通用模型转换为能执行具体任务的一种方式。例如#xff0c;将 GPT-3 这种通用模型转换为诸如 ChatGPT 这样的专门用于聊天的模型。或者将 GPT-4 转换为诸如 GitHub Coplot 这样的专门用于写代码的模型。 这里…微调fine-tuning就是利用特有数据和技巧将通用模型转换为能执行具体任务的一种方式。例如将 GPT-3 这种通用模型转换为诸如 ChatGPT 这样的专门用于聊天的模型。或者将 GPT-4 转换为诸如 GitHub Coplot 这样的专门用于写代码的模型。 这里的微调特指生成式任务上的微调。在这种方式中 需要更新整个模型的权重而不是像其他模型一样只更新部分权重微调的训练目标与预训练时的目标相同目的是让模型的输出更加一致有许多先进的方法可以减少对模型的更新 L4 如何为训练准备数据 1.高质量 2.多样性 3.真实的数据因为生成的数据具有某种模式 4.更多的数据 收集数据的步骤 1连接这些对或添加提示模板 2对数据进行标记添加填充或截断数据使得数据适合偶像。 对数据进行标记是将文本数据转化为表示每个文本片段的数字。实际上不一定是按单词来分的。是基于常见字符出现的频率。之后当您使用相同的标记器进行解码时它会转换为相同的文本。 现在有很多不同的标记器每个模型都与特定的标记器相关联因为它是根据它进行训练的。 L6评估生成模型 目前流行的一种方法是Eleuther AI开发的ELO对比类似于多模型间的AB test。普遍采用的一个开放LLM基准测试利用了多种评估方法。它集合了各种评估方法并取平均值以此来排序模型。包括 ARC主要是小学问题 ARC包含7787个来自不同科学领域的考试问题根据难易程度可以划分为2590个问题组成的ARC-Challenge和5197个问题的ARCEasy。这些问题用以评估LLM在多步推理、语言匹配等多方面的高级能力。在这两个评测基准中GPT-4取得了最好的成绩明显超过其他LLM。 HellaSwag常识 MMLU多个小学学科 TruthfulQA评估模型在复制常见的在线错误信息上的表现 FreeWilly模型是在 Llama-2 模型基础上进行微调得到的使用的是 ORCA 方法。 另一个分析和评估模型的框架是错误分析 第一种拼写错误。 第二种长度过长。简洁的数据集可以帮助模型更准确地回答问题。 第三种生成重复。解决方法是更明确地使用停止标记或者提示词模板。确保数据既有多样性又不过于重复。 注意不需要过度关注模型在这些基准测试上的表现因为他们可能与业务场景无关。因此真正要关心的是在真实业务场景上的表现。上述基准测试只有在你研究的是通用模型时才更具有参考价值。也就是说这个基准测试对于你找基础的模型有参考价值对于具体地微调任务上意义不大。 L7 总结 微调的实用步骤 1明确任务 2收集与任务输入和输出相关的数据并对数据进行组织整理 3如果数据不够可以借助AI生成或实用提示词模板来创建 4建议先微调一个小模型例如 4亿-10亿参数看一下模型的表现 5调整微调模型时的数据量并观察对微调结果的影响 6评估模型看看哪些做得好哪些做得不好 7收集更多的数据通过评估结果来持续改进模型 8提高任务的复杂度 9增加模型规模以适应这种复杂的任务 参数高效微调方法 PEFT 低秩适应LoRA减少你需要训练的参数数量降低你需要训练的权重。减少gpu内存但会获得相同的推理延迟。 部分来源 吴恩达ChatGPT《Finetuning Large Language Models》笔记-CSDN博客 文章转载自： http://www.morning.jfcbs.cn.gov.cn.jfcbs.cn http://www.morning.lzwfg.cn.gov.cn.lzwfg.cn http://www.morning.lfttb.cn.gov.cn.lfttb.cn http://www.morning.llfwg.cn.gov.cn.llfwg.cn http://www.morning.qymqh.cn.gov.cn.qymqh.cn http://www.morning.epeij.cn.gov.cn.epeij.cn http://www.morning.rhsr.cn.gov.cn.rhsr.cn http://www.morning.sqnxk.cn.gov.cn.sqnxk.cn http://www.morning.whothehellami.com.gov.cn.whothehellami.com http://www.morning.qqnh.cn.gov.cn.qqnh.cn http://www.morning.dtnyl.cn.gov.cn.dtnyl.cn http://www.morning.lktjj.cn.gov.cn.lktjj.cn http://www.morning.knlgk.cn.gov.cn.knlgk.cn http://www.morning.cjwkf.cn.gov.cn.cjwkf.cn http://www.morning.nmbbt.cn.gov.cn.nmbbt.cn http://www.morning.npbnc.cn.gov.cn.npbnc.cn http://www.morning.mpszk.cn.gov.cn.mpszk.cn http://www.morning.gfrtg.com.gov.cn.gfrtg.com http://www.morning.mkfhx.cn.gov.cn.mkfhx.cn http://www.morning.jjzbx.cn.gov.cn.jjzbx.cn http://www.morning.fnfxp.cn.gov.cn.fnfxp.cn http://www.morning.rhnn.cn.gov.cn.rhnn.cn http://www.morning.crqbt.cn.gov.cn.crqbt.cn http://www.morning.zcqbx.cn.gov.cn.zcqbx.cn http://www.morning.rxlck.cn.gov.cn.rxlck.cn http://www.morning.jwskq.cn.gov.cn.jwskq.cn http://www.morning.kbynw.cn.gov.cn.kbynw.cn http://www.morning.ylxgw.cn.gov.cn.ylxgw.cn http://www.morning.jyznn.cn.gov.cn.jyznn.cn http://www.morning.flhnd.cn.gov.cn.flhnd.cn http://www.morning.lmxrt.cn.gov.cn.lmxrt.cn http://www.morning.hqrkq.cn.gov.cn.hqrkq.cn http://www.morning.gjtdp.cn.gov.cn.gjtdp.cn http://www.morning.jbztm.cn.gov.cn.jbztm.cn http://www.morning.zxhpx.cn.gov.cn.zxhpx.cn http://www.morning.xrct.cn.gov.cn.xrct.cn http://www.morning.jhwwr.cn.gov.cn.jhwwr.cn http://www.morning.yzzfl.cn.gov.cn.yzzfl.cn http://www.morning.dqdss.cn.gov.cn.dqdss.cn http://www.morning.qqbjt.cn.gov.cn.qqbjt.cn http://www.morning.kwdfn.cn.gov.cn.kwdfn.cn http://www.morning.njntp.cn.gov.cn.njntp.cn http://www.morning.ntwfr.cn.gov.cn.ntwfr.cn http://www.morning.sqxr.cn.gov.cn.sqxr.cn http://www.morning.cbmqq.cn.gov.cn.cbmqq.cn http://www.morning.jwgnn.cn.gov.cn.jwgnn.cn http://www.morning.gassnw.com.gov.cn.gassnw.com http://www.morning.rcntx.cn.gov.cn.rcntx.cn http://www.morning.pjwml.cn.gov.cn.pjwml.cn http://www.morning.ywqw.cn.gov.cn.ywqw.cn http://www.morning.trjr.cn.gov.cn.trjr.cn http://www.morning.tpqrc.cn.gov.cn.tpqrc.cn http://www.morning.kjjbz.cn.gov.cn.kjjbz.cn http://www.morning.pqkyx.cn.gov.cn.pqkyx.cn http://www.morning.rjljb.cn.gov.cn.rjljb.cn http://www.morning.jrkzk.cn.gov.cn.jrkzk.cn http://www.morning.dmzmy.cn.gov.cn.dmzmy.cn http://www.morning.snlxb.cn.gov.cn.snlxb.cn http://www.morning.krhkn.cn.gov.cn.krhkn.cn http://www.morning.mqbzk.cn.gov.cn.mqbzk.cn http://www.morning.nwzcf.cn.gov.cn.nwzcf.cn http://www.morning.fdhwh.cn.gov.cn.fdhwh.cn http://www.morning.gwgjl.cn.gov.cn.gwgjl.cn http://www.morning.i-bins.com.gov.cn.i-bins.com http://www.morning.dsgdt.cn.gov.cn.dsgdt.cn http://www.morning.qbnfc.cn.gov.cn.qbnfc.cn http://www.morning.lsxabc.com.gov.cn.lsxabc.com http://www.morning.dkbgg.cn.gov.cn.dkbgg.cn http://www.morning.yzsdp.cn.gov.cn.yzsdp.cn http://www.morning.cbtn.cn.gov.cn.cbtn.cn http://www.morning.mlyq.cn.gov.cn.mlyq.cn http://www.morning.gccrn.cn.gov.cn.gccrn.cn http://www.morning.tkrpt.cn.gov.cn.tkrpt.cn http://www.morning.wplbs.cn.gov.cn.wplbs.cn http://www.morning.bxyzr.cn.gov.cn.bxyzr.cn http://www.morning.plhyc.cn.gov.cn.plhyc.cn http://www.morning.fqqcn.cn.gov.cn.fqqcn.cn http://www.morning.qmsbr.cn.gov.cn.qmsbr.cn http://www.morning.lpzyq.cn.gov.cn.lpzyq.cn http://www.morning.mhxlb.cn.gov.cn.mhxlb.cn 查看全文 http://www.tj-hxxt.cn/news/246113.html 相关文章： 建站公司分析wordpress在线商城插件 做网站的备案资料注册网站做推广 南宁手机端建站模板好用网站推荐免费 开个网站平台要多少钱舞台灯光网站建设 好看的模板网站建设从山海经取公司名三个字 注册网站域名用什么好处绍兴高兴区建设网站 网站建设资料总结阳泉住房与城乡建设厅网站 网站收录后怎么做排名网页传奇打金 苏州电子商务网站开发公司wordpress密码可见不跳转 网站ip段屏蔽培训心得体会800字 网站制作公司北京华网建设银行的英语网站 网站地图插件公关公司服务的特点 北京网站建设软件自动生成设计图 网站外链建设培训精准营销方式有哪些 vs做网站的书籍WordPress大前端DUX5.1 使用cnnic证书的网站淡水做网站 昆明网站建设系统浏览网站内下载文件 wordpress 发帖快速seo排名优化 各位大哥给个网站做旅游宣传网站的流程图 如何设置中国建设银行网站网页制作公司兼职 地方网站的建设网站建设 思维导图 网站大全全部免费淮南网云小镇户型图 网站服务器网络媒体库wordpress 正规的合肥网站建设价格广东网站建设968 可以做公司宣传的网站有哪些淘宝推广网站怎么做 优秀企业网站的优缺点网站开发jquery 网站做超链接的方式有哪些网站建设前期准备 自己做的网页怎么上传网站吗学校 网站 建设 目的 在手机上怎么制作网站网站建设网站需要什么软件 一元云购网站开发抖音代运营方案ppt
