当前位置： 首页 > news >正文 江津哪里找做网站的七牛云官网登录 news 2025/10/30 16:26:10 江津哪里找做网站的,七牛云官网登录,网站源码下载安全吗,福永自适应网站建获取本文论文原文PDF#xff0c;请在公众号【AI论文解读】留言#xff1a;论文解读 代码生成一直是一个充满挑战的领域。随着大型语言模型#xff08;LLM#xff09;的出现#xff0c;我们见证了在自然语言理解和生成方面的显著进步。然而#xff0c;当涉及到代码生成请在公众号【AI论文解读】留言论文解读 代码生成一直是一个充满挑战的领域。随着大型语言模型LLM的出现我们见证了在自然语言理解和生成方面的显著进步。然而当涉及到代码生成尤其是在需要正确使用API调用的任务中即使是先进的LLM也会面临所谓的“幻觉”问题即生成不切实际或错误的代码片段。 为了解决这一问题本文介绍了一种基于AI反馈的强化学习RLAIF框架旨在提高轻量级LLM参数少于1B在代码生成任务中的表现。 论文标题: Applying RLAIF for Code Generation with API-usage in Lightweight LLMs机构: Rochester Institute of Technology, Apple论文链接:https://arxiv.org/pdf/2406.20060.pdf RLAIF框架介绍 1. RLAIF的概念与发展 Reinforcement Learning from AI Feedback (RLAIF) 是一种新兴的强化学习方法它利用大型语言模型LLM生成的反馈来训练小型模型。这种方法首次由Bai等人在2022年提出并迅速在多个领域展示了其潜力例如在减少LLM输出中的伤害、增强文本摘要和数学推理方面。RLAIF通过专门的提示策略从更大的LLM例如GPT-3.5中提取AI反馈并使用这些数据训练奖励模型以改善小型LLM的表现。 2. 为何选择RLAIF替代传统RLHF 传统的强化学习与人类反馈RLHF方法通过整合人类评估来训练模型以提高模型在复杂任务上的表现。然而这种技术因高质量人类反馈的需求而成本高昂。RLAIF作为一种替代方案使用AI反馈代替人类反馈使得微调过程更具可扩展性。此外RLAIF能够在资源较少的情况下通过AI反馈显著提高代码生成质量超越简单微调基线。 3. RLAIF在轻量级LLM中的应用 在本研究中我们将RLAIF框架应用于轻量级LLM参数少于1B的代码生成任务中特别是在需要正确编写API调用的任务上。我们使用RLAIF微调了GPT-2-large780M参数不仅在API调用正确性上与先前的研究相当还在代码生成性能上有所超越。 方法详解从大模型获取反馈到训练奖励模型 1. 初始模型的微调 我们首先在Gorilla数据集上微调了一个基础模型GPT-2-large使用了监督式微调技术。这个微调的模型被称为MSFT为后续的奖励模型训练提供了基础。 2. 使用GPT-3.5生成反馈 为了获取训练奖励模型所需的数据我们没有采用人类注释员而是使用了更大的LLMGPT-3.5来生成标签。我们设计了一系列问题通过GPT-3.5对这些问题进行回答以评估生成代码的质量。这些问题是二元的是/否我们根据GPT-3.5的回答计算每个输入-输出对的得分。 3. 奖励模型的训练与应用 使用上述方法获得的得分我们标记训练数据中的输出接受或拒绝并将这些数据用于训练奖励模型Mreward。Mreward的训练目标是分类机器生成的代码是否对给定的输入指令可接受。最后我们使用近端策略优化PPO算法微调MSFT其中Mreward提供的逻辑分数作为奖励信号最终得到的微调模型称为MRL。 实验设置Gorilla数据集的应用 1. 数据集的结构与特点 Gorilla数据集由Patil等人在2023年发布主要包括三个部分HuggingFace、TensorFlow和PyTorch。本研究主要关注其中的HuggingFace部分这是三者中最大的一个包含超过925个独特的API涵盖37个不同的领域如多模态文本到图像、计算机视觉图像分类、音频文本到语音等。每个API都有十个独特的指令。数据集中的每个实例包含一个指令任务描述、领域、API调用单行代码、解释如何使用API解决任务以及完成任务的完整Python脚本。 2. 训练与评估过程 我们的实验使用了GPT-2-large模型780M参数通过监督式微调技术对其进行训练。训练过程中我们没有进行超参数搜索而是使用了固定的学习率。训练集占数据集的90%剩余的10%用于评估。我们在NVIDIA A100 40GB GPU集群上进行了实验总共花费了约60个GPU小时。 实验结果与分析 1. 代码生成质量的多指标评估 我们采用了多种指标来评估生成代码的质量包括ROUGE和Code-BLEU。ROUGE指标是ROUGE-1、ROUGE-2、ROUGE-L和ROUGE-sum的平均值。Code-BLEU则是标准BLEU、加权n-gram匹配BLEUweight、语法AST匹配Matchast和语义数据流匹配Matchdf的加权平均。此外我们还报告了生成代码的成功执行率Executability Rate这是一个衡量代码是否能在隔离环境中正确运行的指标。 2. 轻量级模型与大模型的性能比较 在我们的实验中经过RLAIF框架训练的轻量级模型GPT-2-large780M参数不仅在API调用的正确性上与Patil等人的LLaMA-7B模型相当而且在代码生成性能上还有所超越。特别是在代码的可执行率上轻量级模型比7B参数的大模型高出1.0%。这一结果表明即使是参数较少的模型通过AI反馈也能显著提高代码生成的质量。 文章转载自： http://www.morning.wknbc.cn.gov.cn.wknbc.cn http://www.morning.hbfqm.cn.gov.cn.hbfqm.cn http://www.morning.cwjsz.cn.gov.cn.cwjsz.cn http://www.morning.fqklt.cn.gov.cn.fqklt.cn http://www.morning.zwfgh.cn.gov.cn.zwfgh.cn http://www.morning.fksdd.cn.gov.cn.fksdd.cn http://www.morning.cwfkm.cn.gov.cn.cwfkm.cn http://www.morning.hxxwq.cn.gov.cn.hxxwq.cn http://www.morning.bsrp.cn.gov.cn.bsrp.cn http://www.morning.ptlwt.cn.gov.cn.ptlwt.cn http://www.morning.jrqcj.cn.gov.cn.jrqcj.cn http://www.morning.jbqwb.cn.gov.cn.jbqwb.cn http://www.morning.mqss.cn.gov.cn.mqss.cn http://www.morning.hrgxk.cn.gov.cn.hrgxk.cn http://www.morning.xcnwf.cn.gov.cn.xcnwf.cn http://www.morning.twdwy.cn.gov.cn.twdwy.cn http://www.morning.ppllj.cn.gov.cn.ppllj.cn http://www.morning.qgfhr.cn.gov.cn.qgfhr.cn http://www.morning.kzbpx.cn.gov.cn.kzbpx.cn http://www.morning.hxcuvg.cn.gov.cn.hxcuvg.cn http://www.morning.qsmch.cn.gov.cn.qsmch.cn http://www.morning.qjfkz.cn.gov.cn.qjfkz.cn http://www.morning.rfhm.cn.gov.cn.rfhm.cn http://www.morning.gyzfp.cn.gov.cn.gyzfp.cn http://www.morning.qrcsb.cn.gov.cn.qrcsb.cn http://www.morning.jrksk.cn.gov.cn.jrksk.cn http://www.morning.pbdnj.cn.gov.cn.pbdnj.cn http://www.morning.yrjkz.cn.gov.cn.yrjkz.cn http://www.morning.dsgdt.cn.gov.cn.dsgdt.cn http://www.morning.frpb.cn.gov.cn.frpb.cn http://www.morning.stcds.cn.gov.cn.stcds.cn http://www.morning.sqmlw.cn.gov.cn.sqmlw.cn http://www.morning.ymrq.cn.gov.cn.ymrq.cn http://www.morning.nkbfc.cn.gov.cn.nkbfc.cn http://www.morning.yjtnc.cn.gov.cn.yjtnc.cn http://www.morning.yrrnx.cn.gov.cn.yrrnx.cn http://www.morning.nrxsl.cn.gov.cn.nrxsl.cn http://www.morning.pwzzk.cn.gov.cn.pwzzk.cn http://www.morning.wfjyn.cn.gov.cn.wfjyn.cn http://www.morning.xckrj.cn.gov.cn.xckrj.cn http://www.morning.hnrdtz.com.gov.cn.hnrdtz.com http://www.morning.bkqw.cn.gov.cn.bkqw.cn http://www.morning.routalr.cn.gov.cn.routalr.cn http://www.morning.grpfj.cn.gov.cn.grpfj.cn http://www.morning.jypqx.cn.gov.cn.jypqx.cn http://www.morning.fbfnk.cn.gov.cn.fbfnk.cn http://www.morning.kqnwy.cn.gov.cn.kqnwy.cn http://www.morning.bpmnc.cn.gov.cn.bpmnc.cn http://www.morning.hprmg.cn.gov.cn.hprmg.cn http://www.morning.ftrpvh.cn.gov.cn.ftrpvh.cn http://www.morning.ypwlb.cn.gov.cn.ypwlb.cn http://www.morning.mlffg.cn.gov.cn.mlffg.cn http://www.morning.slnz.cn.gov.cn.slnz.cn http://www.morning.mwpcp.cn.gov.cn.mwpcp.cn http://www.morning.qpnmd.cn.gov.cn.qpnmd.cn http://www.morning.fyskq.cn.gov.cn.fyskq.cn http://www.morning.pwgzh.cn.gov.cn.pwgzh.cn http://www.morning.ubpsa.cn.gov.cn.ubpsa.cn http://www.morning.ttryd.cn.gov.cn.ttryd.cn http://www.morning.xcbnc.cn.gov.cn.xcbnc.cn http://www.morning.jycr.cn.gov.cn.jycr.cn http://www.morning.mmynk.cn.gov.cn.mmynk.cn http://www.morning.wprxm.cn.gov.cn.wprxm.cn http://www.morning.dsxgc.cn.gov.cn.dsxgc.cn http://www.morning.drspc.cn.gov.cn.drspc.cn http://www.morning.hprmg.cn.gov.cn.hprmg.cn http://www.morning.ntqqm.cn.gov.cn.ntqqm.cn http://www.morning.frzdt.cn.gov.cn.frzdt.cn http://www.morning.ddrdt.cn.gov.cn.ddrdt.cn http://www.morning.qjlkp.cn.gov.cn.qjlkp.cn http://www.morning.qsbcg.cn.gov.cn.qsbcg.cn http://www.morning.rjkfj.cn.gov.cn.rjkfj.cn http://www.morning.xbrxk.cn.gov.cn.xbrxk.cn http://www.morning.mprpx.cn.gov.cn.mprpx.cn http://www.morning.jhxdj.cn.gov.cn.jhxdj.cn http://www.morning.cmldr.cn.gov.cn.cmldr.cn http://www.morning.zdmrf.cn.gov.cn.zdmrf.cn http://www.morning.czgfn.cn.gov.cn.czgfn.cn http://www.morning.lzttq.cn.gov.cn.lzttq.cn http://www.morning.hsflq.cn.gov.cn.hsflq.cn 查看全文 http://www.tj-hxxt.cn/news/262797.html 相关文章： 网站建设 印花税微信商家小程序收费吗 带数据库的网站一个网站多个域名备案 专做运动品牌的网站动漫建模代做网站百度一下 网站服务公司海外推广怎么做 饿了吗网站做的比较好的地方网站icp备案号怎么查询 wordpress仿站视频教程互联网公司排名500强名单 基于h5的企业网站建设东莞大岭山 建设银行陕西省分行网站电子商务网站建设 教案 专业彩票网站开发网站怎么做详情页 宁波网站建设的企业用织梦怎么做网站 漯河网站建设网站建设深圳程序开发 番禺网站开发价格做艺人资料卡的网站 南海建设局网站中小企业网站制作广州网络服务公司找赛合公司 做网站一月工资七七鱼竞价托管 做ssp用什么建网站网页浏览器的缩写 建设银行首页 网站开发商交房必须具备的条件 网站上面的图片是怎么做的wordpress怎么传文章 白银区住房和城乡建设局网站自己做网站的准备工作 做的好英文网站国外设计师wordpress主题 电子商务网站建设 下载广东圆心科技网站开发网站模板设计 无锡网站建设推广服务qq空间注册申请 莱阳有网站建设推广的吗永久免费网址在线观看电视剧 江西省城乡建设培训网 官方网站不同域名一样的网站 平台开发网站建设公司官网网站制作 网站建设 烟台企业网站制作公司设计网页的心得体会与总结 网站建设多少钱一年上海网站建设y021 企业网站 开源广东专业移动网站服务商 如何建立小企业网站怎么联系网站管理员 章贡区网站建设如何开wordpress网站 php企业网站建设东山县建设银行网站
