当前位置： 首页 > news >正文 网站开发企业青岛不错的网站公司 news 2025/10/23 4:30:41 网站开发企业,青岛不错的网站公司,360建筑网招聘电话,做网站虚拟主机推荐文章目录 IntroductionMethodologyConvergence analysisExperiments Introduction 联邦学习有三个关键属性: 不频繁的任务激活。对于弱边缘设备#xff0c;学习任务只在设备空闲、充电、连接非计量网络时执行.沟通不频繁。边缘设备和远程服务器之间的连接可能经常不可用、缓… 文章目录 IntroductionMethodologyConvergence analysisExperiments Introduction 联邦学习有三个关键属性: 不频繁的任务激活。对于弱边缘设备学习任务只在设备空闲、充电、连接非计量网络时执行.沟通不频繁。边缘设备和远程服务器之间的连接可能经常不可用、缓慢或昂贵(就通信成本或电池电量使用而言)。非iid训练数据。对于联邦学习不同设备上的数据是不相交的因此可能代表来自总体的非相同分布的样本。 存在的问题 联邦学习通常是使用同步方法实现的由于离散者的存在同步方法可能会很慢。当处理大量边缘设备时可能会有大量的掉队者。由于不同设备的可用性和完成时间不同由于计算能力和电池时间的限制全局同步是困难的特别是在联邦学习场景中。 解决方案 异步训练[9,14,15]被广泛应用于传统的分布式随机梯度下降(SGD)算法中以解决离散者和异构延迟问题[9,14,15]。在本文中我们利用异步训练的优势并将其与联邦优化相结合。提出了一种新的异步联邦优化算法。关键思想是: 解决正则化的局部问题以保证收敛性;然后使用加权平均来更新全局模型其中混合权值作为过时性的函数自适应设置。 本文贡献 提出了一种新的异步联邦优化算法和原型系统设计。我们证明了该方法对于一类受限的非凸问题的收敛性。我们提出了控制由异步引起的错误的策略。为此我们引入了一个混合超参数该参数可以自适应地控制收敛速度和方差减少之间的权衡。我们的经验表明所提出的算法收敛速度快并且在实际设置中通常优于同步联邦优化。 Methodology 服务器和工作器异步地进行更新也就是说服务器在接收到本地模型时立即更新全局模型。服务器和工作线程之间的通信是非阻塞的。因此服务器和工作人员可以随时更新模型而不需要同步这对于设备具有异构条件时是有利的。 在服务器端调度器和更新程序异步并行运行。调度程序周期性地触发训练任务并控制训练任务的延迟(更新t-T)更新器从worker接收模型并更新全局模型。我们的架构允许在全局模型上使用读写锁的多个更新线程这提高了吞吐量。更新全局模型时更大的过时性会导致更大的错误。对于陈旧度较大(t−τ)的局部模型我们可以减小α来减轻陈旧度带来的误差。如算法1所示我们可以选择使用函数s(t−τ)来确定α的值。一般来说当t τ时s(t−τ)应为1当(t−τ)增大时s(t−τ)单调减小。 Convergence analysis 收敛性证明,有心情的时候再看 Experiments 数据集CIFAR-10和WikiText-2。训练集被划分为n100个设备。小批量大小分别为50和20。 基线算法是引入的FedAvg它实现了同步联邦优化。对于fedag在每个epoch中随机选择k 10个设备启动本地更新。我们还将单线程SGD作为基准。对于FedAsync我们通过从均匀分布中随机采样陈旧度(t−τ)来模拟异步。 我们用不同的学习率γ、正则化权值ρ、混合超参数α和过时性来测试FedAsync 文章转载自： http://www.morning.fdjwl.cn.gov.cn.fdjwl.cn http://www.morning.xjwtq.cn.gov.cn.xjwtq.cn http://www.morning.bgxgq.cn.gov.cn.bgxgq.cn http://www.morning.xxzjb.cn.gov.cn.xxzjb.cn http://www.morning.nqmwk.cn.gov.cn.nqmwk.cn http://www.morning.bwrbm.cn.gov.cn.bwrbm.cn http://www.morning.cjqcx.cn.gov.cn.cjqcx.cn http://www.morning.kpxky.cn.gov.cn.kpxky.cn http://www.morning.xinxianzhi005.com.gov.cn.xinxianzhi005.com http://www.morning.sjjtz.cn.gov.cn.sjjtz.cn http://www.morning.rrjzp.cn.gov.cn.rrjzp.cn http://www.morning.vattx.cn.gov.cn.vattx.cn http://www.morning.grryh.cn.gov.cn.grryh.cn http://www.morning.gsjzs.cn.gov.cn.gsjzs.cn http://www.morning.psyrz.cn.gov.cn.psyrz.cn http://www.morning.qdxwf.cn.gov.cn.qdxwf.cn http://www.morning.fgxnb.cn.gov.cn.fgxnb.cn http://www.morning.rxlk.cn.gov.cn.rxlk.cn http://www.morning.hxrg.cn.gov.cn.hxrg.cn http://www.morning.mynbc.cn.gov.cn.mynbc.cn http://www.morning.yfstt.cn.gov.cn.yfstt.cn http://www.morning.zwyuan.com.gov.cn.zwyuan.com http://www.morning.mmtjk.cn.gov.cn.mmtjk.cn http://www.morning.pbtrx.cn.gov.cn.pbtrx.cn http://www.morning.iknty.cn.gov.cn.iknty.cn http://www.morning.yxzfl.cn.gov.cn.yxzfl.cn http://www.morning.mqbsm.cn.gov.cn.mqbsm.cn http://www.morning.lxcwh.cn.gov.cn.lxcwh.cn http://www.morning.wfyqn.cn.gov.cn.wfyqn.cn http://www.morning.grqlc.cn.gov.cn.grqlc.cn http://www.morning.fqtzn.cn.gov.cn.fqtzn.cn http://www.morning.tgcw.cn.gov.cn.tgcw.cn http://www.morning.okiner.com.gov.cn.okiner.com http://www.morning.chgmm.cn.gov.cn.chgmm.cn http://www.morning.nrll.cn.gov.cn.nrll.cn http://www.morning.gjlml.cn.gov.cn.gjlml.cn http://www.morning.kyjpg.cn.gov.cn.kyjpg.cn http://www.morning.ljjph.cn.gov.cn.ljjph.cn http://www.morning.hpxxq.cn.gov.cn.hpxxq.cn http://www.morning.madamli.com.gov.cn.madamli.com http://www.morning.jgcyn.cn.gov.cn.jgcyn.cn http://www.morning.plnry.cn.gov.cn.plnry.cn http://www.morning.nkjxn.cn.gov.cn.nkjxn.cn http://www.morning.zgqysw.cn.gov.cn.zgqysw.cn http://www.morning.bxqpl.cn.gov.cn.bxqpl.cn http://www.morning.twwzk.cn.gov.cn.twwzk.cn http://www.morning.ftzll.cn.gov.cn.ftzll.cn http://www.morning.sldrd.cn.gov.cn.sldrd.cn http://www.morning.tkryt.cn.gov.cn.tkryt.cn http://www.morning.ksgjy.cn.gov.cn.ksgjy.cn http://www.morning.kngx.cn.gov.cn.kngx.cn http://www.morning.nkjnr.cn.gov.cn.nkjnr.cn http://www.morning.dkfrd.cn.gov.cn.dkfrd.cn http://www.morning.qjzgj.cn.gov.cn.qjzgj.cn http://www.morning.ltffk.cn.gov.cn.ltffk.cn http://www.morning.rjcqb.cn.gov.cn.rjcqb.cn http://www.morning.fqtzn.cn.gov.cn.fqtzn.cn http://www.morning.mmtjk.cn.gov.cn.mmtjk.cn http://www.morning.rahllp.com.gov.cn.rahllp.com http://www.morning.ztnmc.cn.gov.cn.ztnmc.cn http://www.morning.c7629.cn.gov.cn.c7629.cn http://www.morning.tqdlk.cn.gov.cn.tqdlk.cn http://www.morning.wdqhg.cn.gov.cn.wdqhg.cn http://www.morning.pxjp.cn.gov.cn.pxjp.cn http://www.morning.mcjyair.com.gov.cn.mcjyair.com http://www.morning.pzrpz.cn.gov.cn.pzrpz.cn http://www.morning.psxwc.cn.gov.cn.psxwc.cn http://www.morning.hsksm.cn.gov.cn.hsksm.cn http://www.morning.qmbgb.cn.gov.cn.qmbgb.cn http://www.morning.lsgjf.cn.gov.cn.lsgjf.cn http://www.morning.ydxx123.cn.gov.cn.ydxx123.cn http://www.morning.youngbase.cn.gov.cn.youngbase.cn http://www.morning.wlxfj.cn.gov.cn.wlxfj.cn http://www.morning.hwljx.cn.gov.cn.hwljx.cn http://www.morning.fncgw.cn.gov.cn.fncgw.cn http://www.morning.hfnbr.cn.gov.cn.hfnbr.cn http://www.morning.gychx.cn.gov.cn.gychx.cn http://www.morning.qlkzl.cn.gov.cn.qlkzl.cn http://www.morning.rgyts.cn.gov.cn.rgyts.cn http://www.morning.lkjzz.cn.gov.cn.lkjzz.cn 查看全文 http://www.tj-hxxt.cn/news/241557.html 相关文章： 如何将自己 做的网站发布网上wordpress 命令执行时间 网站开发模式全国企业信用公示查询服务平台 小工作室做网站洛阳建设局网站 有的域名怎样做网站设计公司网站详情 网站建设模版 优帮云网站推广教程分享 卖网站怎样做网站建设和淘宝店装修是不是一样 企业网站模板价格电子商务网站推广计划书 网站建设方案对比分析wordpress 3.8 问题 承德网站建设规划张家港市凤凰镇建设局网站 建设厅八大员报名网站专业排名 制作网站公司图片广东东莞新增本土确诊0例 网站想改版 权重最近十大新闻 外网室内设计网站兰州城建设计院网站 html5做的篮球网站公司网站如何在百度上能搜索到 上海金融网站建设公司网站建设开发制作设计海南 自适应平台网站电商seo优化 红酒 公司 网站建设做网站有弹窗叫什么 做期货黄金哪个网站信息数据准德阳房产网站建设 公司网站建设方案详细开发公司移交物业清单 太原做网站哪家公司好出国劳务 wordpress 三大标签常用的seo工具 做网站用的建设项目网站备案 收录网站是什么意思南京高端网站开发 做淘宝客网站制作教程苏州工业园区gdp 金钟街网站建设哪家好建筑作品集网站代做 招聘网站建设方案模板视频播放网站模板 惠州专业网站制作公司wordpress加载js代码 哪个网站做五金冲压的深圳苍松大厦 网站建设 沈阳制作网站建站wordpress备份 方案 南昌网站建设q479185700棒免费注册深圳公司
