当前位置： 首页 > news >正文 陕西网站建设开发网站推广业务 news 2025/10/28 21:53:45 陕西网站建设开发,网站推广业务,红木家具网站模板,顺德企业手机网站建设这是我的第331篇原创文章。 一、引言 P-Tuning 是一种对预训练语言模型进行少量参数微调的技术。所谓预训练语言模型#xff0c;就是指在大规模的语言数据集上训练好的、能够理解自然语言表达并从中学习语言知识的模型。P-Tuning 所做的就是根据具体的任务#xff0c;对预训练…这是我的第331篇原创文章。 一、引言 P-Tuning 是一种对预训练语言模型进行少量参数微调的技术。所谓预训练语言模型就是指在大规模的语言数据集上训练好的、能够理解自然语言表达并从中学习语言知识的模型。P-Tuning 所做的就是根据具体的任务对预训练的模型进行微调让它更好地适应于具体任务。相比于重新训练一个新的模型微调可以大大节省计算资源同时也可以获得更好的性能表现。 前文回顾 【Python大语言模型系列】基于阿里云人工智能平台部署ChatGLM2-6B完整教程 ChatGLM2-6B 环境已经有了接下来开始模型微调这里我们使用官方的 P-Tuning v2 对 ChatGLM2-6B 模型进行参数微调P-Tuning v2 将需要微调的参数量减少到原来的 0.1%再通过模型量化、Gradient Checkpoint 等方法最低只需要 7GB 显存即可运行。 二、实现过程 2.1 安装依赖 # 运行微调需要 4.27.1 版本的 transformers pip install transformers4.27.1 pip install rouge_chinese nltk jieba datasets# 禁用 WB如果不禁用可能会中断微调训练 export WANDB_DISABLEDtrue 2.2 准备数据集 为了简化我只准备了5条测试数据分别保存为 train.json 和 dev.json放到 ptuning 目录下实际使用的时候肯定需要大量的训练数据。 train.json 和 dev.json的内容如下 2.3 调整脚本参数 修改 train.sh 和 evaluate.sh 中的 train_file、validation_file和test_file为你自己的 JSON 格式数据集路径并将 prompt_column 和 response_column 改为 JSON 文件中输入文本和输出文本对应的 KEY。 可能还需要增大 max_source_length 和 max_target_length 来匹配你自己的数据集中的最大输入输出长度。并将模型路径 THUDM/chatglm-6b 改为你本地的模型路径。 train.sh修改如下 evalution.sh修改如下 2.4 执行训练脚本 bash train.sh 训练过程会比较慢差不多花了一个小时最终训练完成: 2.5 执行推理脚本 bash evalution.sh 执行完成后会生成评测文件评测指标为中文 Rouge score 和 BLEU-4。生成的结果保存在 ./output/chatglm-6b-pt-32-2e-2/generated_predictions.txt。 我们准备了 5 条推理数据所以相应的在文件中会有 5 条评测数据labels 是 dev.json 中的预测输出predict 是 ChatGLM-6B 生成的结果对比预测输出和生成结果评测模型训练的好坏。如果不满意调整训练的参数再次进行训练。 2.6 部署微调后的模型 可以修改 web_demo.sh 的内容以符合实际情况将 pre_seq_len 改成你训练时的实际值将 THUDM/chatglm-6b 改成本地的模型路径。web_demo.sh修改如下 执行 bash web_demo.sh 2.7 微调前后对比 原始模型 微调后的模型 三、小结 微调可以对原有模型作领域知识的训练相关领域知识需要进行整理成语料语料越充分相对来说模型作预测越准还要结合调参反复地训练才有可能起到一定的效果。 作者简介 读研期间发表6篇SCI数据挖掘相关论文现在某研究院从事数据算法相关科研工作结合自身科研实践经历不定期分享关于Python、机器学习、深度学习、人工智能系列基础知识与应用案例。致力于只做原创以最简单的方式理解和学习关注我一起交流成长。需要数据集和源码的小伙伴可以关注底部公众号添加作者微信。 文章转载自： http://www.morning.dwmtk.cn.gov.cn.dwmtk.cn http://www.morning.tpfny.cn.gov.cn.tpfny.cn http://www.morning.xmttd.cn.gov.cn.xmttd.cn http://www.morning.cwkcq.cn.gov.cn.cwkcq.cn http://www.morning.wdprz.cn.gov.cn.wdprz.cn http://www.morning.lrylj.cn.gov.cn.lrylj.cn http://www.morning.pwppk.cn.gov.cn.pwppk.cn http://www.morning.jqpyq.cn.gov.cn.jqpyq.cn http://www.morning.mlffg.cn.gov.cn.mlffg.cn http://www.morning.kpcky.cn.gov.cn.kpcky.cn http://www.morning.trjr.cn.gov.cn.trjr.cn http://www.morning.qdxwf.cn.gov.cn.qdxwf.cn http://www.morning.wgqtt.cn.gov.cn.wgqtt.cn http://www.morning.mbrbg.cn.gov.cn.mbrbg.cn http://www.morning.lhjmq.cn.gov.cn.lhjmq.cn http://www.morning.jcyrs.cn.gov.cn.jcyrs.cn http://www.morning.smxrx.cn.gov.cn.smxrx.cn http://www.morning.mxdhy.cn.gov.cn.mxdhy.cn http://www.morning.zqnmp.cn.gov.cn.zqnmp.cn http://www.morning.beiyishengxin.cn.gov.cn.beiyishengxin.cn http://www.morning.nzlqt.cn.gov.cn.nzlqt.cn http://www.morning.kxscs.cn.gov.cn.kxscs.cn http://www.morning.ktrh.cn.gov.cn.ktrh.cn http://www.morning.lrwsk.cn.gov.cn.lrwsk.cn http://www.morning.llqky.cn.gov.cn.llqky.cn http://www.morning.c7629.cn.gov.cn.c7629.cn http://www.morning.qkdcb.cn.gov.cn.qkdcb.cn http://www.morning.lktjj.cn.gov.cn.lktjj.cn http://www.morning.zhqfn.cn.gov.cn.zhqfn.cn http://www.morning.rbsxf.cn.gov.cn.rbsxf.cn http://www.morning.aiai201.cn.gov.cn.aiai201.cn http://www.morning.sbczr.cn.gov.cn.sbczr.cn http://www.morning.lffrh.cn.gov.cn.lffrh.cn http://www.morning.sfsjh.cn.gov.cn.sfsjh.cn http://www.morning.tqdqc.cn.gov.cn.tqdqc.cn http://www.morning.rsmtx.cn.gov.cn.rsmtx.cn http://www.morning.zsgbt.cn.gov.cn.zsgbt.cn http://www.morning.yrhd.cn.gov.cn.yrhd.cn http://www.morning.rpms.cn.gov.cn.rpms.cn http://www.morning.fkdts.cn.gov.cn.fkdts.cn http://www.morning.nxrgl.cn.gov.cn.nxrgl.cn http://www.morning.rntgy.cn.gov.cn.rntgy.cn http://www.morning.fhhry.cn.gov.cn.fhhry.cn http://www.morning.htpjl.cn.gov.cn.htpjl.cn http://www.morning.rykgh.cn.gov.cn.rykgh.cn http://www.morning.qmnjn.cn.gov.cn.qmnjn.cn http://www.morning.jqkrt.cn.gov.cn.jqkrt.cn http://www.morning.pxmyw.cn.gov.cn.pxmyw.cn http://www.morning.nkiqixr.cn.gov.cn.nkiqixr.cn http://www.morning.msmtf.cn.gov.cn.msmtf.cn http://www.morning.ntgrn.cn.gov.cn.ntgrn.cn http://www.morning.mzzqs.cn.gov.cn.mzzqs.cn http://www.morning.fynkt.cn.gov.cn.fynkt.cn http://www.morning.xbkcr.cn.gov.cn.xbkcr.cn http://www.morning.mgmyt.cn.gov.cn.mgmyt.cn http://www.morning.qgfy.cn.gov.cn.qgfy.cn http://www.morning.yxplz.cn.gov.cn.yxplz.cn http://www.morning.mcwgn.cn.gov.cn.mcwgn.cn http://www.morning.pwksz.cn.gov.cn.pwksz.cn http://www.morning.lzqdd.cn.gov.cn.lzqdd.cn http://www.morning.pqqhl.cn.gov.cn.pqqhl.cn http://www.morning.rgxf.cn.gov.cn.rgxf.cn http://www.morning.kcbml.cn.gov.cn.kcbml.cn http://www.morning.bzbq.cn.gov.cn.bzbq.cn http://www.morning.mpmtz.cn.gov.cn.mpmtz.cn http://www.morning.tbjtm.cn.gov.cn.tbjtm.cn http://www.morning.wpspf.cn.gov.cn.wpspf.cn http://www.morning.mpgfk.cn.gov.cn.mpgfk.cn http://www.morning.xcnwf.cn.gov.cn.xcnwf.cn http://www.morning.xjkr.cn.gov.cn.xjkr.cn http://www.morning.ffdyy.cn.gov.cn.ffdyy.cn http://www.morning.mcwrg.cn.gov.cn.mcwrg.cn http://www.morning.qineryuyin.com.gov.cn.qineryuyin.com http://www.morning.fkyqt.cn.gov.cn.fkyqt.cn http://www.morning.qkqpy.cn.gov.cn.qkqpy.cn http://www.morning.nfcxq.cn.gov.cn.nfcxq.cn http://www.morning.ryxgk.cn.gov.cn.ryxgk.cn http://www.morning.ypqwm.cn.gov.cn.ypqwm.cn http://www.morning.rnrwq.cn.gov.cn.rnrwq.cn http://www.morning.qscsy.cn.gov.cn.qscsy.cn 查看全文 http://www.tj-hxxt.cn/news/257766.html 相关文章： 如何加强省市网站建设招聘网站报表怎么做 土豆网网站开发源代码微信企业app手机下载安装 检察院加强网站建设新闻门户网站免费建设 网站开发环境搭建章节教材书企业网站建设杭州 美工常用找素材网站网站seo属于什么专业 站长源码论坛企业建站模板下载 网站小图标怎么做的网址导航建站 富阳建设局网站网站做com合net的区别 免费企业查询网站php是网站开发语言吗 耐思尼克的建站宝盒网站推广书 个人做健康网站好吗小程序定制价格 怎样制作免费网站全球建筑设计网站 做尽调需要用到的网站广州房产网 网站怎么添加关键词 好让百度收入_ 现在网站用的是模板做的电子商务行业分析 网站建设工作分解湖南东方红建设集团有限公司网站 哪里有南宁网站建设铜陵县住房和城乡建设局网站 网站怎么做维护曲阜网站制作 网站开发市场丽江做网站 中国古风网站模板贵阳观山湖区网站建设 c 网站开发案例吉林市建设工程档案馆网站 网站建设分期进行怎么入账如何创建自己的博客 哈尔滨 网站建设仟路什么平台可以做推广 wordpress主题识别南京网站关键词优化咨询 第一成品网站建筑企业资质加盟 外贸建站应该怎么做微信营销和网站建设 工控机做网站服务器整合营销网站 网站建设与开发试题域名申请到网站上传全过程 想开一个做网站的公司东莞企业画册设计制作公司报价 桂林网站排名外贸营销网 石家庄微网站建设公司中国新闻社天津分社招聘
