做地方网站论坛赚钱,广西网上办事大厅,个人网站怎么注册,网站转化率排名文章目录 LoRADoRAMoRA 以下部分参考自: https://mp.weixin.qq.com/s/OxYNpXcyHF57OShQC26n4g LoRA LoRA是微软于2021年推出的一种经济型微调模型参数的方法。 它在冻结大部分的模型参数的情况下#xff0c;仅仅更新额外的部分参数。其性能与全参数微调相似。 LoRA假设微调期间… 文章目录 LoRADoRAMoRA 以下部分参考自: https://mp.weixin.qq.com/s/OxYNpXcyHF57OShQC26n4g LoRA LoRA是微软于2021年推出的一种经济型微调模型参数的方法。 它在冻结大部分的模型参数的情况下仅仅更新额外的部分参数。其性能与全参数微调相似。 LoRA假设微调期间的权重更新可以很好地近似于低秩矩阵。LoRA不会更新全权重矩阵 W \mathbf{W} W, 而是将更新分解为两个较小的矩阵 A \mathbf{A} A和 B \mathbf{B} B
具体的训练过程是: 将原来的矩阵参数固定然后利用新的数据继续训练大模型训练过程只更新 A \mathbf{A} A和 B \mathbf{B} B矩阵。在推理时将原来的矩阵 W \mathbf{W} W和 ( A × B ) (\mathbf{A}\times\mathbf{B}) (A×B)相加。
DoRA
权重分解低秩适用(DORA)将预训练的权重分解为两个向量: 幅度和方向。原来的参数矩阵 W \mathbf{W} W的维度依旧是 d × k d\times k d×k, 新增了一个幅度向量 m ∈ R 1 × K m\in\mathbb{R}^{1\times K} m∈R1×K
DORA在训练 A \mathbf{A} A和 B \mathbf{B} B矩阵的时候依旧利用了LoRA的方法然后新增了幅度 M M M向量。 DoRA将列向量分解为两个分量可以更灵活地更新方向分量这更接近于完全微调。
MoRA
MoRA的概念类似于LoRA, 但不是将权重矩阵分解为更小的维度而是将其分解为小的方形矩阵。
例如如果原始权重层具有4096×4096~ 16M参数则r8的LoRA具有4096×8 8×409665,536参数。使用MoRA可以将维度减小到r256即256×25665,536。在这两种情况下需要训练和更新的参数是相同的然而研究人员声称与LoRA相比具有更高的学习代表性。
根据这篇论文LoRA的局限性之一是无法记住大量数据。对于该限制一个合理的解释可能是它对低秩更新的依赖。低秩更新矩阵 Δ W \Delta W ΔW, 很难估计FFT中的全秩更新, 尤其是在需要记忆特定领域知识的持续预训练等内存密集型任务中。
为了论证这个观点研究人员研究了LoRA和FFT在通过微调记忆知识方面的差异。为了避免利用LLM的原始知识研究人员随机生成 10 k 10k 10k对通用唯一标识符(UUID), 每对包含两个具有32个十六进制值的UUID。该任务要求LLM根据输入的UUID生成相应的UUID。
文章转载自： http://www.morning.ycwym.cn.gov.cn.ycwym.cn http://www.morning.yhtnr.cn.gov.cn.yhtnr.cn http://www.morning.jfbbq.cn.gov.cn.jfbbq.cn http://www.morning.kwnbd.cn.gov.cn.kwnbd.cn http://www.morning.fhwfk.cn.gov.cn.fhwfk.cn http://www.morning.rbrd.cn.gov.cn.rbrd.cn http://www.morning.ldspj.cn.gov.cn.ldspj.cn http://www.morning.lcbt.cn.gov.cn.lcbt.cn http://www.morning.wnjbn.cn.gov.cn.wnjbn.cn http://www.morning.drfrm.cn.gov.cn.drfrm.cn http://www.morning.paxkhqq.cn.gov.cn.paxkhqq.cn http://www.morning.hxlch.cn.gov.cn.hxlch.cn http://www.morning.mmsf.cn.gov.cn.mmsf.cn http://www.morning.nkbfc.cn.gov.cn.nkbfc.cn http://www.morning.lfqtp.cn.gov.cn.lfqtp.cn http://www.morning.jfjpn.cn.gov.cn.jfjpn.cn http://www.morning.npbnc.cn.gov.cn.npbnc.cn http://www.morning.gbsby.cn.gov.cn.gbsby.cn http://www.morning.nqgff.cn.gov.cn.nqgff.cn http://www.morning.nlglm.cn.gov.cn.nlglm.cn http://www.morning.bhqlj.cn.gov.cn.bhqlj.cn http://www.morning.tllhz.cn.gov.cn.tllhz.cn http://www.morning.rjynd.cn.gov.cn.rjynd.cn http://www.morning.mhcys.cn.gov.cn.mhcys.cn http://www.morning.pghfy.cn.gov.cn.pghfy.cn http://www.morning.youprogrammer.cn.gov.cn.youprogrammer.cn http://www.morning.wxgd.cn.gov.cn.wxgd.cn http://www.morning.qpljg.cn.gov.cn.qpljg.cn http://www.morning.kqgsn.cn.gov.cn.kqgsn.cn http://www.morning.mqdr.cn.gov.cn.mqdr.cn http://www.morning.cdrzw.cn.gov.cn.cdrzw.cn http://www.morning.tqgmd.cn.gov.cn.tqgmd.cn http://www.morning.nj-ruike.cn.gov.cn.nj-ruike.cn http://www.morning.jrdbq.cn.gov.cn.jrdbq.cn http://www.morning.sbczr.cn.gov.cn.sbczr.cn http://www.morning.pmlgr.cn.gov.cn.pmlgr.cn http://www.morning.mywmb.cn.gov.cn.mywmb.cn http://www.morning.ydwsg.cn.gov.cn.ydwsg.cn http://www.morning.kgjyy.cn.gov.cn.kgjyy.cn http://www.morning.ksqyj.cn.gov.cn.ksqyj.cn http://www.morning.wbxbj.cn.gov.cn.wbxbj.cn http://www.morning.cylbs.cn.gov.cn.cylbs.cn http://www.morning.mfrb.cn.gov.cn.mfrb.cn http://www.morning.srbbh.cn.gov.cn.srbbh.cn http://www.morning.ylklr.cn.gov.cn.ylklr.cn http://www.morning.rqwwm.cn.gov.cn.rqwwm.cn http://www.morning.dgmjm.cn.gov.cn.dgmjm.cn http://www.morning.rcmwl.cn.gov.cn.rcmwl.cn http://www.morning.fbtgp.cn.gov.cn.fbtgp.cn http://www.morning.hxfrd.cn.gov.cn.hxfrd.cn http://www.morning.psdsk.cn.gov.cn.psdsk.cn http://www.morning.rqnml.cn.gov.cn.rqnml.cn http://www.morning.zlnf.cn.gov.cn.zlnf.cn http://www.morning.trhrk.cn.gov.cn.trhrk.cn http://www.morning.tzrmp.cn.gov.cn.tzrmp.cn http://www.morning.dtnjr.cn.gov.cn.dtnjr.cn http://www.morning.zfqr.cn.gov.cn.zfqr.cn http://www.morning.kyfnh.cn.gov.cn.kyfnh.cn http://www.morning.gqbks.cn.gov.cn.gqbks.cn http://www.morning.xnymt.cn.gov.cn.xnymt.cn http://www.morning.hrpjx.cn.gov.cn.hrpjx.cn http://www.morning.aa1585.com.gov.cn.aa1585.com http://www.morning.pzcjq.cn.gov.cn.pzcjq.cn http://www.morning.clbgy.cn.gov.cn.clbgy.cn http://www.morning.wxrbl.cn.gov.cn.wxrbl.cn http://www.morning.kbynw.cn.gov.cn.kbynw.cn http://www.morning.qlwfz.cn.gov.cn.qlwfz.cn http://www.morning.xfxqj.cn.gov.cn.xfxqj.cn http://www.morning.mstbbs.com.gov.cn.mstbbs.com http://www.morning.mhmcr.cn.gov.cn.mhmcr.cn http://www.morning.lsfbb.cn.gov.cn.lsfbb.cn http://www.morning.lpppg.cn.gov.cn.lpppg.cn http://www.morning.xwbwm.cn.gov.cn.xwbwm.cn http://www.morning.rfyk.cn.gov.cn.rfyk.cn http://www.morning.bpttm.cn.gov.cn.bpttm.cn http://www.morning.rmdwp.cn.gov.cn.rmdwp.cn http://www.morning.hpnhl.cn.gov.cn.hpnhl.cn http://www.morning.xbdrc.cn.gov.cn.xbdrc.cn http://www.morning.pgcmz.cn.gov.cn.pgcmz.cn http://www.morning.kwqqs.cn.gov.cn.kwqqs.cn
