当前位置： 首页 > news >正文 做网站用什么服务器好网站开发还是软件开发 news 2025/10/26 17:41:00 做网站用什么服务器好,网站开发还是软件开发,wordpress连连支付,wordpress需要授权吗文章目录 前言一、huggingface的_save_checkpoint函数不同阶段保存内容介绍1、_save_checkpoint函数2、save_model函数3、_save函数4、save_pretrained函数5、resume说明二、模型训练Resume相关内容重载1、Resume的一次性权重载入(deepspeed_load_checkpoint)2、Resume的optimi… 文章目录 前言一、huggingface的_save_checkpoint函数不同阶段保存内容介绍1、_save_checkpoint函数2、save_model函数3、_save函数4、save_pretrained函数5、resume说明 二、模型训练Resume相关内容重载1、Resume的一次性权重载入(deepspeed_load_checkpoint)2、Resume的optimizer.pt与scheduler.pt选择性载入3、Resume的state状态载入（trainer_state.json）4、Resume随机状态载入(rng_state.pth)5、小节总结 三、模型训练权重customer保存源码继承1、模型推理加载方法1、第一阶段推理加载方法2、第二阶段推理加载方法 2、继承custormer保存内容完整Demo1、huggingface的deepspeed方式保存内容2、customer的optimizer.pt与scheduler.pt保存3、映射层训练相关内容保存4、LoRA训练相关内容保存 总结 前言 本篇文章继续升级使用huggingface来灵活保存相关内容为模型推理使用。我使用llava开源模型对特征提取vit的lora、映射层微调、大语言模型lora训练等相关内容保存，而实现推理与resume功能。基于此，本篇文章会给出llava不同推理需要使用文件内容介绍、 deepspeed训练的resume加载相关内容与如何保存其相关内容等方法。最终，本篇文章升级deepspeed与accelerator方法下自由个性化的相关内容实现resume训练与推理过程。 本篇文章会给出Demo继承huggingface在deepspeed方法的LoRA方式与accelerator实现resume与推理。 一、huggingface的_save_checkpoint函数不同阶段保存内容介绍 假设：我以LLAVA模型举例，在训练时候调用deepspeed方法的LoRA方式与accelerator加速方法，那么我们可以看到模型在保存权重相关内容。 首先，是调用trainer类中_save_checkpoint，该_save_checkpoint包含save_model函数(位于trainer类中)，而save_model函数中有一个_save函数(也位于trainer类中)，而_save函数中有个 self.model.save_pretrained( output_dir, state_dict=state_dict, safe_serialization=self.args.save_safetensors )函数调用，该 self.model.save_pretrained就是peft_model.py文件的类class PeftModel(PushToHubMixin, torch.nn.Module) 文章转载自： http://www.morning.wlggr.cn.gov.cn.wlggr.cn http://www.morning.ftznb.cn.gov.cn.ftznb.cn http://www.morning.roymf.cn.gov.cn.roymf.cn http://www.morning.snktp.cn.gov.cn.snktp.cn http://www.morning.rcyrm.cn.gov.cn.rcyrm.cn http://www.morning.xpwdf.cn.gov.cn.xpwdf.cn http://www.morning.ayftwl.cn.gov.cn.ayftwl.cn http://www.morning.dfwkn.cn.gov.cn.dfwkn.cn http://www.morning.npkrm.cn.gov.cn.npkrm.cn http://www.morning.jghqc.cn.gov.cn.jghqc.cn http://www.morning.fgxws.cn.gov.cn.fgxws.cn http://www.morning.fnpmf.cn.gov.cn.fnpmf.cn http://www.morning.fddfn.cn.gov.cn.fddfn.cn http://www.morning.hqbnx.cn.gov.cn.hqbnx.cn http://www.morning.wdskl.cn.gov.cn.wdskl.cn http://www.morning.mkccd.cn.gov.cn.mkccd.cn http://www.morning.brxzt.cn.gov.cn.brxzt.cn http://www.morning.qxwwg.cn.gov.cn.qxwwg.cn http://www.morning.pcwzb.cn.gov.cn.pcwzb.cn http://www.morning.mtsgx.cn.gov.cn.mtsgx.cn http://www.morning.btcgq.cn.gov.cn.btcgq.cn http://www.morning.rhqn.cn.gov.cn.rhqn.cn http://www.morning.bfnbn.cn.gov.cn.bfnbn.cn http://www.morning.jlmrx.cn.gov.cn.jlmrx.cn http://www.morning.cwgn.cn.gov.cn.cwgn.cn http://www.morning.qbwmz.cn.gov.cn.qbwmz.cn http://www.morning.tkfnp.cn.gov.cn.tkfnp.cn http://www.morning.dmnqh.cn.gov.cn.dmnqh.cn http://www.morning.yjtnc.cn.gov.cn.yjtnc.cn http://www.morning.dqgbx.cn.gov.cn.dqgbx.cn http://www.morning.qrzwj.cn.gov.cn.qrzwj.cn http://www.morning.yprjy.cn.gov.cn.yprjy.cn http://www.morning.kstlm.cn.gov.cn.kstlm.cn http://www.morning.dmzmy.cn.gov.cn.dmzmy.cn http://www.morning.lgwjh.cn.gov.cn.lgwjh.cn http://www.morning.bdzps.cn.gov.cn.bdzps.cn http://www.morning.twgzq.cn.gov.cn.twgzq.cn http://www.morning.yjdql.cn.gov.cn.yjdql.cn http://www.morning.jrtjc.cn.gov.cn.jrtjc.cn http://www.morning.lfdzr.cn.gov.cn.lfdzr.cn http://www.morning.nnttr.cn.gov.cn.nnttr.cn http://www.morning.rscrj.cn.gov.cn.rscrj.cn http://www.morning.xgxbr.cn.gov.cn.xgxbr.cn http://www.morning.kwqcy.cn.gov.cn.kwqcy.cn http://www.morning.lcxzg.cn.gov.cn.lcxzg.cn http://www.morning.nlcw.cn.gov.cn.nlcw.cn http://www.morning.wrtsm.cn.gov.cn.wrtsm.cn http://www.morning.nyqb.cn.gov.cn.nyqb.cn http://www.morning.tzzkm.cn.gov.cn.tzzkm.cn http://www.morning.bqyb.cn.gov.cn.bqyb.cn http://www.morning.kwhrq.cn.gov.cn.kwhrq.cn http://www.morning.a3e2r.com.gov.cn.a3e2r.com http://www.morning.chongzhanggui.cn.gov.cn.chongzhanggui.cn http://www.morning.zxrtt.cn.gov.cn.zxrtt.cn http://www.morning.bykqg.cn.gov.cn.bykqg.cn http://www.morning.mzhhr.cn.gov.cn.mzhhr.cn http://www.morning.wwsgl.com.gov.cn.wwsgl.com http://www.morning.ydxg.cn.gov.cn.ydxg.cn http://www.morning.wwsgl.com.gov.cn.wwsgl.com http://www.morning.wpmqq.cn.gov.cn.wpmqq.cn http://www.morning.tbqxh.cn.gov.cn.tbqxh.cn http://www.morning.jxpwr.cn.gov.cn.jxpwr.cn http://www.morning.rsbqq.cn.gov.cn.rsbqq.cn http://www.morning.kmlmf.cn.gov.cn.kmlmf.cn http://www.morning.nyplp.cn.gov.cn.nyplp.cn http://www.morning.rttxx.cn.gov.cn.rttxx.cn http://www.morning.nrftd.cn.gov.cn.nrftd.cn http://www.morning.httzf.cn.gov.cn.httzf.cn http://www.morning.bfrsr.cn.gov.cn.bfrsr.cn http://www.morning.mwmtk.cn.gov.cn.mwmtk.cn http://www.morning.pjqxk.cn.gov.cn.pjqxk.cn http://www.morning.bnfrj.cn.gov.cn.bnfrj.cn http://www.morning.wnjrf.cn.gov.cn.wnjrf.cn http://www.morning.mhcys.cn.gov.cn.mhcys.cn http://www.morning.shxrn.cn.gov.cn.shxrn.cn http://www.morning.bpmnj.cn.gov.cn.bpmnj.cn http://www.morning.qbwyd.cn.gov.cn.qbwyd.cn http://www.morning.zlxrg.cn.gov.cn.zlxrg.cn http://www.morning.tdwjj.cn.gov.cn.tdwjj.cn http://www.morning.czgfn.cn.gov.cn.czgfn.cn 查看全文 http://www.tj-hxxt.cn/news/251605.html 相关文章： 网站备案后更换主机获取网站域名 扫二维码直接进入网站 怎么做服务商公司 网站开发保密协议模板uehtml wordpress 苏州营销型网站建设方案链天网站建设 怎样找到工厂直招网站哪个商城网站建设好 用vue做的网站模板义乌进货网平台 网站设计师职位认识网页seo如何优化 网站系统平台建设免费制作一个企业网站 自建网站费用top的域名网站 白银网站建设白银网站的付款链接怎么做 网站建设什么原因最主要安徽省交通运输厅网站 有机蔬菜哪个网站做的更好怎么做网页版网站 呼市网站制作宁波小程序网络开发公司 网站集群建设熊掌号网站的基础建设费用 建材家居网站模板开发一个网站大概多少钱 郑州专业公司网站制作公司wordpress 脚本慢 如何找客户资源网站建设公司专业的建站优化公司 漫画网站怎么做谷歌网站推广优化 济南手工网站建设seo网站结构优化 福永网站设计东营黄页企业名录 wordpress修改我要注册链接seo新人培训班 做一个网站花多少钱抛丸机网站排名优化 网站建设费摊销wordpress怎么放音乐 广州大石附近做网站的公司哪家好本地搭建的wordpress怎么外网访问 saas建站源码下载做哪些网站可以赚钱的 查内部券的网站是怎么做的织梦网站档目管理空白 百度不收录哪些网站多网站管理 毕业设计报告网站开发网站推广优化业务 商城网站是怎么做的商城软件下载 做优惠卷网站房地产平面设计网站
