当前位置: 首页 > news >正文

有什么网站帮做邀请函设计的电脑端网页设计尺寸

有什么网站帮做邀请函设计的,电脑端网页设计尺寸,中国广告设计网,网站运营工作的内容文章目录 LoRADoRAMoRA 以下部分参考自: https://mp.weixin.qq.com/s/OxYNpXcyHF57OShQC26n4g LoRA LoRA是微软于2021年推出的一种经济型微调模型参数的方法。 它在冻结大部分的模型参数的情况下#xff0c;仅仅更新额外的部分参数。其性能与全参数微调相似。 LoRA假设微调期间… 文章目录 LoRADoRAMoRA 以下部分参考自: https://mp.weixin.qq.com/s/OxYNpXcyHF57OShQC26n4g LoRA LoRA是微软于2021年推出的一种经济型微调模型参数的方法。 它在冻结大部分的模型参数的情况下仅仅更新额外的部分参数。其性能与全参数微调相似。 LoRA假设微调期间的权重更新可以很好地近似于低秩矩阵。LoRA不会更新全权重矩阵 W \mathbf{W} W, 而是将更新分解为两个较小的矩阵 A \mathbf{A} A和 B \mathbf{B} B 具体的训练过程是: 将原来的矩阵参数固定然后利用新的数据继续训练大模型训练过程只更新 A \mathbf{A} A和 B \mathbf{B} B矩阵。在推理时将原来的矩阵 W \mathbf{W} W和 ( A × B ) (\mathbf{A}\times\mathbf{B}) (A×B)相加。 DoRA 权重分解低秩适用(DORA)将预训练的权重分解为两个向量: 幅度和方向。原来的参数矩阵 W \mathbf{W} W的维度依旧是 d × k d\times k d×k, 新增了一个幅度向量 m ∈ R 1 × K m\in\mathbb{R}^{1\times K} m∈R1×K DORA在训练 A \mathbf{A} A和 B \mathbf{B} B矩阵的时候依旧利用了LoRA的方法然后新增了幅度 M M M向量。 DoRA将列向量分解为两个分量可以更灵活地更新方向分量这更接近于完全微调。 MoRA MoRA的概念类似于LoRA, 但不是将权重矩阵分解为更小的维度而是将其分解为小的方形矩阵。 例如如果原始权重层具有4096×4096~ 16M参数则r8的LoRA具有4096×8 8×409665,536参数。使用MoRA可以将维度减小到r256即256×25665,536。在这两种情况下需要训练和更新的参数是相同的然而研究人员声称与LoRA相比具有更高的学习代表性。 根据这篇论文LoRA的局限性之一是无法记住大量数据。对于该限制一个合理的解释可能是它对低秩更新的依赖。低秩更新矩阵 Δ W \Delta W ΔW, 很难估计FFT中的全秩更新, 尤其是在需要记忆特定领域知识的持续预训练等内存密集型任务中。 为了论证这个观点研究人员研究了LoRA和FFT在通过微调记忆知识方面的差异。为了避免利用LLM的原始知识研究人员随机生成 10 k 10k 10k对通用唯一标识符(UUID), 每对包含两个具有32个十六进制值的UUID。该任务要求LLM根据输入的UUID生成相应的UUID。
http://www.tj-hxxt.cn/news/221103.html

相关文章:

  • 申请网站网站甘肃省住房和建设厅网站
  • 杭州企业自助建站系统自贡建设投资有限公司网站
  • 网站常用热点hot小图标快站怎么做淘客网站
  • 红河网站建设小程序代理加盟有哪些大品牌
  • joomla构建行业网站多用户自助建站
  • 网站推广方式都有哪些智能团建网上登录入口
  • 拿word如何做网站广州广告制作有限公司
  • 旅游电子商务的网站建设网站建设分为那几个模块
  • 文安做网站陕西省建设工会网站
  • 水滴保险官方网站谷歌浏览器 安卓下载
  • 卢松松网站源码北京建设专职查询网站
  • 从化网站开发网站关键词做的越多越好吗
  • 做棋牌开发的网站云南网约车有哪些平台
  • 自己建设企业网站微网站中定位功能怎么做的
  • 网站的留言板怎么做知名室内设计网站
  • 建设国家地质公园网站主要功能简述建设网站的步骤
  • 淘宝开放平台怎么做淘宝客网站wordpress app 加载慢
  • 做教育机器网站wordpress hexo
  • 什么样的网站可以做站内站免费无限建站
  • 福州商城网站建设时代设计网 新网站
  • 分析网站的优势和不足外贸网站推广收费
  • 赣州网站建设怎样网络货运平台有哪些
  • 网站开发学历要求付公司网站费用怎么做分录
  • 哪些网站开业做简单海报静态网站生成
  • 柯林自助建站网站建设有什么价值
  • 石家庄搭建网站手机网店开店网站
  • 网站什么时候做负载均衡传媒公司排行榜
  • 宁阳网站开发石材网站建设方案
  • 哪些网站可以找到做海报的素材网站升级的内容包括哪些
  • 大连免费网站建设天津 公司网站建设