当前位置： 首页 > news >正文 厦门市建设合同备案网站商城网站设计费用 news 2025/10/31 22:45:16 厦门市建设合同备案网站,商城网站设计费用,外贸网站打开速度,怎样申请自己的网址这是我的第331篇原创文章。 一、引言 P-Tuning 是一种对预训练语言模型进行少量参数微调的技术。所谓预训练语言模型#xff0c;就是指在大规模的语言数据集上训练好的、能够理解自然语言表达并从中学习语言知识的模型。P-Tuning 所做的就是根据具体的任务#xff0c;对预训练…这是我的第331篇原创文章。 一、引言 P-Tuning 是一种对预训练语言模型进行少量参数微调的技术。所谓预训练语言模型就是指在大规模的语言数据集上训练好的、能够理解自然语言表达并从中学习语言知识的模型。P-Tuning 所做的就是根据具体的任务对预训练的模型进行微调让它更好地适应于具体任务。相比于重新训练一个新的模型微调可以大大节省计算资源同时也可以获得更好的性能表现。 前文回顾 【Python大语言模型系列】基于阿里云人工智能平台部署ChatGLM2-6B完整教程 ChatGLM2-6B 环境已经有了接下来开始模型微调这里我们使用官方的 P-Tuning v2 对 ChatGLM2-6B 模型进行参数微调P-Tuning v2 将需要微调的参数量减少到原来的 0.1%再通过模型量化、Gradient Checkpoint 等方法最低只需要 7GB 显存即可运行。 二、实现过程 2.1 安装依赖 # 运行微调需要 4.27.1 版本的 transformers pip install transformers4.27.1 pip install rouge_chinese nltk jieba datasets# 禁用 WB如果不禁用可能会中断微调训练 export WANDB_DISABLEDtrue 2.2 准备数据集 为了简化我只准备了5条测试数据分别保存为 train.json 和 dev.json放到 ptuning 目录下实际使用的时候肯定需要大量的训练数据。 train.json 和 dev.json的内容如下 2.3 调整脚本参数 修改 train.sh 和 evaluate.sh 中的 train_file、validation_file和test_file为你自己的 JSON 格式数据集路径并将 prompt_column 和 response_column 改为 JSON 文件中输入文本和输出文本对应的 KEY。 可能还需要增大 max_source_length 和 max_target_length 来匹配你自己的数据集中的最大输入输出长度。并将模型路径 THUDM/chatglm-6b 改为你本地的模型路径。 train.sh修改如下 evalution.sh修改如下 2.4 执行训练脚本 bash train.sh 训练过程会比较慢差不多花了一个小时最终训练完成: 2.5 执行推理脚本 bash evalution.sh 执行完成后会生成评测文件评测指标为中文 Rouge score 和 BLEU-4。生成的结果保存在 ./output/chatglm-6b-pt-32-2e-2/generated_predictions.txt。 我们准备了 5 条推理数据所以相应的在文件中会有 5 条评测数据labels 是 dev.json 中的预测输出predict 是 ChatGLM-6B 生成的结果对比预测输出和生成结果评测模型训练的好坏。如果不满意调整训练的参数再次进行训练。 2.6 部署微调后的模型 可以修改 web_demo.sh 的内容以符合实际情况将 pre_seq_len 改成你训练时的实际值将 THUDM/chatglm-6b 改成本地的模型路径。web_demo.sh修改如下 执行 bash web_demo.sh 2.7 微调前后对比 原始模型 微调后的模型 三、小结 微调可以对原有模型作领域知识的训练相关领域知识需要进行整理成语料语料越充分相对来说模型作预测越准还要结合调参反复地训练才有可能起到一定的效果。 作者简介 读研期间发表6篇SCI数据挖掘相关论文现在某研究院从事数据算法相关科研工作结合自身科研实践经历不定期分享关于Python、机器学习、深度学习、人工智能系列基础知识与应用案例。致力于只做原创以最简单的方式理解和学习关注我一起交流成长。需要数据集和源码的小伙伴可以关注底部公众号添加作者微信。 文章转载自： http://www.morning.nfyc.cn.gov.cn.nfyc.cn http://www.morning.xwbwm.cn.gov.cn.xwbwm.cn http://www.morning.pngdc.cn.gov.cn.pngdc.cn http://www.morning.kjjbz.cn.gov.cn.kjjbz.cn http://www.morning.wknj.cn.gov.cn.wknj.cn http://www.morning.mrncd.cn.gov.cn.mrncd.cn http://www.morning.lqgfm.cn.gov.cn.lqgfm.cn http://www.morning.tfgkq.cn.gov.cn.tfgkq.cn http://www.morning.fbtgp.cn.gov.cn.fbtgp.cn http://www.morning.tqldj.cn.gov.cn.tqldj.cn http://www.morning.frfpx.cn.gov.cn.frfpx.cn http://www.morning.fyxtn.cn.gov.cn.fyxtn.cn http://www.morning.wqrdx.cn.gov.cn.wqrdx.cn http://www.morning.iznek.com.gov.cn.iznek.com http://www.morning.brwei.com.gov.cn.brwei.com http://www.morning.xjmyq.com.gov.cn.xjmyq.com http://www.morning.jpqmq.cn.gov.cn.jpqmq.cn http://www.morning.jbysr.cn.gov.cn.jbysr.cn http://www.morning.cffwm.cn.gov.cn.cffwm.cn http://www.morning.jxcwn.cn.gov.cn.jxcwn.cn http://www.morning.dnmwl.cn.gov.cn.dnmwl.cn http://www.morning.nzhzt.cn.gov.cn.nzhzt.cn http://www.morning.jfqqs.cn.gov.cn.jfqqs.cn http://www.morning.kxsnp.cn.gov.cn.kxsnp.cn http://www.morning.zwznz.cn.gov.cn.zwznz.cn http://www.morning.wtcd.cn.gov.cn.wtcd.cn http://www.morning.dkzrs.cn.gov.cn.dkzrs.cn http://www.morning.znqxt.cn.gov.cn.znqxt.cn http://www.morning.yksf.cn.gov.cn.yksf.cn http://www.morning.wfbs.cn.gov.cn.wfbs.cn http://www.morning.hgkbj.cn.gov.cn.hgkbj.cn http://www.morning.lhrxq.cn.gov.cn.lhrxq.cn http://www.morning.gkmwx.cn.gov.cn.gkmwx.cn http://www.morning.yrngx.cn.gov.cn.yrngx.cn http://www.morning.mlfmj.cn.gov.cn.mlfmj.cn http://www.morning.kdldx.cn.gov.cn.kdldx.cn http://www.morning.nrxsl.cn.gov.cn.nrxsl.cn http://www.morning.bplqh.cn.gov.cn.bplqh.cn http://www.morning.haibuli.com.gov.cn.haibuli.com http://www.morning.jtfsd.cn.gov.cn.jtfsd.cn http://www.morning.mrpqg.cn.gov.cn.mrpqg.cn http://www.morning.rpwm.cn.gov.cn.rpwm.cn http://www.morning.yfwygl.cn.gov.cn.yfwygl.cn http://www.morning.gnbfj.cn.gov.cn.gnbfj.cn http://www.morning.rytps.cn.gov.cn.rytps.cn http://www.morning.tqjwx.cn.gov.cn.tqjwx.cn http://www.morning.bqhlp.cn.gov.cn.bqhlp.cn http://www.morning.jpydf.cn.gov.cn.jpydf.cn http://www.morning.bmzxp.cn.gov.cn.bmzxp.cn http://www.morning.ptwqf.cn.gov.cn.ptwqf.cn http://www.morning.jjxxm.cn.gov.cn.jjxxm.cn http://www.morning.fmjzl.cn.gov.cn.fmjzl.cn http://www.morning.shxmr.cn.gov.cn.shxmr.cn http://www.morning.prsxj.cn.gov.cn.prsxj.cn http://www.morning.hjwzpt.com.gov.cn.hjwzpt.com http://www.morning.bxhch.cn.gov.cn.bxhch.cn http://www.morning.mdwtm.cn.gov.cn.mdwtm.cn http://www.morning.lsjgh.cn.gov.cn.lsjgh.cn http://www.morning.tgtsg.cn.gov.cn.tgtsg.cn http://www.morning.fmrd.cn.gov.cn.fmrd.cn http://www.morning.datadragon-auh.cn.gov.cn.datadragon-auh.cn http://www.morning.dfltx.cn.gov.cn.dfltx.cn http://www.morning.xqbgm.cn.gov.cn.xqbgm.cn http://www.morning.lkbyq.cn.gov.cn.lkbyq.cn http://www.morning.zdxss.cn.gov.cn.zdxss.cn http://www.morning.lzqdd.cn.gov.cn.lzqdd.cn http://www.morning.hptbp.cn.gov.cn.hptbp.cn http://www.morning.kwnbd.cn.gov.cn.kwnbd.cn http://www.morning.bfhfb.cn.gov.cn.bfhfb.cn http://www.morning.npcxk.cn.gov.cn.npcxk.cn http://www.morning.jppb.cn.gov.cn.jppb.cn http://www.morning.hkpn.cn.gov.cn.hkpn.cn http://www.morning.lwmxk.cn.gov.cn.lwmxk.cn http://www.morning.gcqkb.cn.gov.cn.gcqkb.cn http://www.morning.xxwhz.cn.gov.cn.xxwhz.cn http://www.morning.qcymf.cn.gov.cn.qcymf.cn http://www.morning.rzbgn.cn.gov.cn.rzbgn.cn http://www.morning.lbgsh.cn.gov.cn.lbgsh.cn http://www.morning.bwqr.cn.gov.cn.bwqr.cn http://www.morning.cxlys.cn.gov.cn.cxlys.cn 查看全文 http://www.tj-hxxt.cn/news/266393.html 相关文章： 烟台建设集团 招聘信息网站腾讯的网站是谁做的 梧州网站建设哪家好nas云存储做视频网站 网站顶部下拉广告代码顺德网站制作案例如何 单页面网站可以做自适应网站吗烟台app开发公司 网站seo优化方案设计php网站开发招聘 怎么挑选网站主机怎么对页面颜色进行设计 免费制作网站方案全屋定制报价明细表 ?a品定制网站开发网站支付端口 企业服务账号十堰seo排名公司 建设银行对账网站西双版纳傣族自治州景洪市 福建省城市建设厅网站沧州百度建设网站 毕设做网站难吗网名logo设计制作 公司网站制作商wordpress 页面开发教程 建设厅八大员在哪个网站查询北京网站设计的公司 网站加地图网站建设中 敬请期待 石家庄做网站建设的公司排名建设单位网站 重庆未来科技网站建设郑州百度推广托管 企业网站整理优化介绍自己的网页 科技巅峰如何优化网站关键词排名 网站的建设公司个人网页需要什么内容 温州网站建设温州网站制作京东网站优化 做企业网站设计外贸网站建设上海 绚丽网站模板企业广告策划公司 山东建设银行官网网站怎么进入追信魔盒网站开发软件 毕业网站设计企业管理专业就业方向 成都山而网站建设公司内部网站建设软件 赣州网站开发公司合肥营销网站建设公司 .我爱你 域名网站高端网站建设公司哪家好 室内设计网站有哪些比较好推销 刷单类网站开发网络服务商
