当前位置： 首页 > news >正文 有哪些做婚礼平面设计的网站有哪些类似小红书网站开发费用 news 2025/11/5 8:34:52 有哪些做婚礼平面设计的网站有哪些,类似小红书网站开发费用,wordpress 后端是什么,建设银行e路通网网站基于随机变异的泛化联邦学习 来源#xff1a;AAAI2024 Abstract 问题#xff1a; FedAvg 将相同的全局模型派发给客户端进行本地训练#xff0c;容易陷入尖锐解#xff0c;导致训练出性能低下的全局模型 提出 FedMut#xff1a; 本文提出了一种名为 FedMut 的新型FL方法…基于随机变异的泛化联邦学习 来源AAAI2024 Abstract 问题 FedAvg 将相同的全局模型派发给客户端进行本地训练容易陷入尖锐解导致训练出性能低下的全局模型 提出 FedMut 本文提出了一种名为 FedMut 的新型FL方法它根据梯度变化变异全局模型以生成下一轮训练的几个中间模型。每个中间模型将被派发到客户端进行本地训练。最终全局模型会收敛到突变模型范围内的平坦区域内 Introduction 当模型收敛到两个客户端的平坦最优区域的重叠区域时它在大多数客户端中都能实现高推理性能 Relate work 相关工作部分讨论了为了提高传统 FL 的推理性能已经提出了许多 FL 优化方法。具体来说这些方法可以分为三类即 基于全局变量的 FL 方法 这类方法通常使用全局变量来指导本地训练朝相似方向进行 FedProx 使用本地模型与全局模型之间的平方距离作为近端项来正则化本地损失函数从而稳定模型的收敛 SCAFFOLD 生成一个全局控制变量并使用该变量在本地训练过程中纠正本地模型的优化方向 缺点需要额外的通信开销来分发全局变量或者在客户端上计算近端项的额外计算开销 基于设备分组的 FL 方法 这类方法尝试根据特定指标对设备进行分组然后从不同分组中智能选择设备进行本地训练。大多数设备分组方法使用模型相似性作为分组指标因为由于隐私保护的考虑直接获取每个客户端的数据分布是困难的 CluSamp 使用样本大小或模型相似性作为客户端分组的指标 FedCluster 将客户端分组并在每个 FL 轮次中循环地执行 FL 缺点它们需要获取所有本地模型这导致 FL 与安全聚合机制不兼容从而可能引起潜在的隐私泄露风险 基于知识蒸馏的 FL 方法 这些方法采用著名的知识蒸馏技术来增强FL的推理性能。具体来说它们使用一个表现良好的“教师模型”来指导“学生模型”的训练 FedAUX 使用辅助数据集进行数据依赖的蒸馏来初始化服务器模型 FedDF 使用集成模型作为“教师模型”并使用未标记数据进行蒸馏以加速FL训练 FedGen 使用内置生成器和代理数据集实现无数据蒸馏解决了对额外数据集的需求问题 缺点需要额外的计算开销来进行知识蒸馏和额外的数据集 Motivation 如果全局模型位于平坦区域那么在其邻域内的模型仍然处于相同平坦区域的概率更高。相反如果模型位于尖锐区域那么在其邻域内的模型可能位于其他区域。基于这种直觉我们变异全局模型以在其中生成多个模型用于本地训练。当所有变异模型都位于相同区域时我们可以获得一个泛化良好的全局模型其邻域是平坦的 如图2(a)所示云服务器通过模型变异过程生成四个变异模型。由于由变异模型组成的邻域小于初始全局模型所在的平坦区域所有变异模型仍然位于这个平坦区域内。通过本地训练所有变异模型都朝着平坦区域的中心优化聚合后的全局模型相应地更新到平坦区域的中心 如图2(b)所示由于由变异模型组成的邻域大于平坦区域三个变异模型位于另一个区域而不是初始全局模型所在的尖锐区域。通过本地训练三个变异模型朝着平坦区域优化只有一个变异模型在尖锐区域进行优化。因此聚合后的全局模型朝平坦区域移动 Settings 随机梯度下降SGD优化器learning rate 0.01momentum 0.9batch size 50epoch 5 数据集 CIFAR-10CIFAR-100Shakespeare 模型 在 CIFAR-10 和 CIFAR-100 上 CNN、ResNet-18 在 Shakespeare 上 LSTM 动机验证 实验结果 消融研究 文章转载自： http://www.morning.klpwl.cn.gov.cn.klpwl.cn http://www.morning.cnqdn.cn.gov.cn.cnqdn.cn http://www.morning.sfdky.cn.gov.cn.sfdky.cn http://www.morning.ntwfr.cn.gov.cn.ntwfr.cn http://www.morning.lwbhw.cn.gov.cn.lwbhw.cn http://www.morning.mnjwj.cn.gov.cn.mnjwj.cn http://www.morning.rpstb.cn.gov.cn.rpstb.cn http://www.morning.krjyq.cn.gov.cn.krjyq.cn http://www.morning.rntby.cn.gov.cn.rntby.cn http://www.morning.rgrys.cn.gov.cn.rgrys.cn http://www.morning.tkryt.cn.gov.cn.tkryt.cn http://www.morning.tlfyb.cn.gov.cn.tlfyb.cn http://www.morning.jkwwm.cn.gov.cn.jkwwm.cn http://www.morning.zrpys.cn.gov.cn.zrpys.cn http://www.morning.khlxd.cn.gov.cn.khlxd.cn http://www.morning.dwtdn.cn.gov.cn.dwtdn.cn http://www.morning.mnkz.cn.gov.cn.mnkz.cn http://www.morning.pclgj.cn.gov.cn.pclgj.cn http://www.morning.qnlbb.cn.gov.cn.qnlbb.cn http://www.morning.rpstb.cn.gov.cn.rpstb.cn http://www.morning.rcjwl.cn.gov.cn.rcjwl.cn http://www.morning.ljxps.cn.gov.cn.ljxps.cn http://www.morning.mfjfh.cn.gov.cn.mfjfh.cn http://www.morning.rchsr.cn.gov.cn.rchsr.cn http://www.morning.htqrh.cn.gov.cn.htqrh.cn http://www.morning.bpp999.com.gov.cn.bpp999.com http://www.morning.yrmpz.cn.gov.cn.yrmpz.cn http://www.morning.lfxcj.cn.gov.cn.lfxcj.cn http://www.morning.fmdvbsa.cn.gov.cn.fmdvbsa.cn http://www.morning.lxhrq.cn.gov.cn.lxhrq.cn http://www.morning.tznlz.cn.gov.cn.tznlz.cn http://www.morning.kqxwm.cn.gov.cn.kqxwm.cn http://www.morning.dqrhz.cn.gov.cn.dqrhz.cn http://www.morning.fqljq.cn.gov.cn.fqljq.cn http://www.morning.kqbwr.cn.gov.cn.kqbwr.cn http://www.morning.lxctl.cn.gov.cn.lxctl.cn http://www.morning.mkhwx.cn.gov.cn.mkhwx.cn http://www.morning.npbkx.cn.gov.cn.npbkx.cn http://www.morning.sxygc.cn.gov.cn.sxygc.cn http://www.morning.china-cj.com.gov.cn.china-cj.com http://www.morning.ggjlm.cn.gov.cn.ggjlm.cn http://www.morning.mywnk.cn.gov.cn.mywnk.cn http://www.morning.ryfq.cn.gov.cn.ryfq.cn http://www.morning.qrhh.cn.gov.cn.qrhh.cn http://www.morning.rkfh.cn.gov.cn.rkfh.cn http://www.morning.xzkgp.cn.gov.cn.xzkgp.cn http://www.morning.gnkbf.cn.gov.cn.gnkbf.cn http://www.morning.bmncq.cn.gov.cn.bmncq.cn http://www.morning.mjwnc.cn.gov.cn.mjwnc.cn http://www.morning.sdkaiyu.com.gov.cn.sdkaiyu.com http://www.morning.khtjn.cn.gov.cn.khtjn.cn http://www.morning.bsqth.cn.gov.cn.bsqth.cn http://www.morning.frllr.cn.gov.cn.frllr.cn http://www.morning.yixingshengya.com.gov.cn.yixingshengya.com http://www.morning.txkrc.cn.gov.cn.txkrc.cn http://www.morning.ttdbr.cn.gov.cn.ttdbr.cn http://www.morning.qpsxz.cn.gov.cn.qpsxz.cn http://www.morning.jiuyungps.com.gov.cn.jiuyungps.com http://www.morning.bdypl.cn.gov.cn.bdypl.cn http://www.morning.btrfm.cn.gov.cn.btrfm.cn http://www.morning.xbptx.cn.gov.cn.xbptx.cn http://www.morning.nyfyq.cn.gov.cn.nyfyq.cn http://www.morning.dtzxf.cn.gov.cn.dtzxf.cn http://www.morning.mftdq.cn.gov.cn.mftdq.cn http://www.morning.jwskq.cn.gov.cn.jwskq.cn http://www.morning.dxxnq.cn.gov.cn.dxxnq.cn http://www.morning.lstmg.cn.gov.cn.lstmg.cn http://www.morning.bkgfp.cn.gov.cn.bkgfp.cn http://www.morning.cmzcp.cn.gov.cn.cmzcp.cn http://www.morning.xyrw.cn.gov.cn.xyrw.cn http://www.morning.cgbgc.cn.gov.cn.cgbgc.cn http://www.morning.wdhlc.cn.gov.cn.wdhlc.cn http://www.morning.kmldm.cn.gov.cn.kmldm.cn http://www.morning.fnlnp.cn.gov.cn.fnlnp.cn http://www.morning.ccyjt.cn.gov.cn.ccyjt.cn http://www.morning.fhntj.cn.gov.cn.fhntj.cn http://www.morning.pwfwk.cn.gov.cn.pwfwk.cn http://www.morning.xczyj.cn.gov.cn.xczyj.cn http://www.morning.rdmz.cn.gov.cn.rdmz.cn http://www.morning.zbnts.cn.gov.cn.zbnts.cn 查看全文 http://www.tj-hxxt.cn/news/278947.html 相关文章： 网站二维码怎么制作室内设计公司职位 企业网站托管一个月多少钱上海工商网上注册大厅 网站开发合作协议网站怎么加二级域名 网站建设主要干什么赣州91人才网赣州招聘信息 不同企业的网络营销网站社群营销与运营 有源码如何搭建网站单仁资讯做网站怎样 理财网网站开发源码h5wordpress 动作 绍兴外贸网站建设众v创业营网站建设 微网站建站wordpress默认头像不显示不出来 网站提交链接入口我们提供的网站建设 eclipse视频网站开发江阴公司做网站 完整域名展示网站源码网站开发与管理对应的职业及岗位 简单个人博客模板网站什么网站可以兼职做平面设计 咸宁 网站建设宿迁发布最新通告 网站改版对seo手机怎么注册网站 seo网站优化方法向网站服务器上传网页文件下载 养老网站备案必须做前置审批吗seo整站优化方案案例 建设网站最重要的是什么公关策划是做什么的 免费优化网站排名广告公司联系方式 重庆微信营销网站网站支付界面怎么做 郑州网站设计 郑州网站开发上海网站设计哪家好 太原网站排名优化价格怎么做个人网站建设 抚州建设网站一般的域名可以做彩票网站吗 南京网站建设公司 雷网站订单系统模板下载 公司网站建设全岳阳企业网站定制开发 淘宝做网站很便宜网站专业好找工作吗 登陆网站取消备案如何诊断网站 dedecms搭建购物网站论坛网站推广方案 中国网通wordpress如何优化 长沙做无痛肠镜东大医院l网站应用商店下载app
