当前位置： 首页 > news >正文 手机网站建设 jz.woonlwordpress星评分 news 2025/11/6 14:06:07 手机网站建设 jz.woonl,wordpress星评分,做的网站提示不安全问题,龙华新区城市建设局网站论文简介 本推文介绍了2024 ICML的优秀论文之一《FlashST: A Simple and Universal Prompt-Tuning Framework for Traffic Prediction》。论文的核心目标是通过整合空间和时间因素#xff0c;精准地预测和分析交通流量的动态变化。然而#xff0c;在交通预测领域#xff0c…论文简介 本推文介绍了2024 ICML的优秀论文之一《FlashST: A Simple and Universal Prompt-Tuning Framework for Traffic Prediction》。论文的核心目标是通过整合空间和时间因素精准地预测和分析交通流量的动态变化。然而在交通预测领域分布偏移问题始终是一个重大的挑战。当前的模型在面对测试数据与训练数据存在显著差异的情况下往往表现出较弱的泛化能力难以适应复杂的实际交通情况。为了解决这一问题论文提出了一种简单而通用的时空提示调优框架——FlashST该框架能够根据多种下游数据集的特征调整预训练模型从而改善在不同交通预测场景中的泛化能力。具体而言FlashST框架采用了轻量级的时空提示网络旨在进行上下文学习捕捉时空不变知识并促进有效适应。 推文作者为邱雪审校为许东舟和黄星宇。 论文链接https://arxiv.org/abs/2405.17898 1.会议介绍 ICMLInternational Conference on Machine Learning国际机器学习会议创办于1980年由国际机器学习协会主办每年举办一次。作为人工智能Artificial Intelligence, AI和机器学习领域中最具有影响力的会议之一它的讨论主题领域广泛包括通用机器学习、深度学习、学习理论、优化、概率推理等。 2.研究背景 近年来交通预测已成为智能交通系统和城市规划中的一个重要研究领域。准确预测交通流量和模式不仅有助于缓解交通拥堵还能优化资源配置提高运输效率。然而现有模型在面对分布偏移时往往表现不佳难以适应测试数据与训练数据之间的显著差异。这种分布偏移使得交通预测面临着更大的挑战因此提高模型的泛化能力变得尤为重要。 基于上述背景论文做出了以下的研究创新 1时空提示调优 提出了一种简单且通用的时空提示调优框架——FlashST旨在通过对预训练模型进行适应性调整以应对多样化的下游数据集最终提升模型在不同下游任务中的适应能力。 2通过上下文学习实现的适应 利用上下文蒸馏机制捕捉来自未见数据的时间和空间上下文信号帮助模型适应不同的时空场景。 3统一分布映射机制 引入了统一分布映射机制通过对预训练阶段与下游数据集的分布进行对齐减小分布差异从而促进了跨不同城市交通数据集的有效知识迁移。 图1 FlashST提出的必要性。左图展示了不同时空数据集之间多样的数据分布而右图则表明端到端模型的参数在训练集A上出现过拟合无法很好地泛化到测试集B。 图1表明了FlashST框架通过提示调优和分布映射机制来解决这一问题的必要性。其中左图展示了不同时空数据集之间的分布差异右图展示了现有端到端模型在训练集上表现良好但在测试集上泛化能力差的问题。 3.方法 图2 我们提出的FlashST框架采用了一种集成时空上下文学习和统一分布映射机制的架构为在不同场景下进行时空提示调优提供了一种高效且有效的解决方案。 FlashST框架通过三个主要模块来实现对交通数据的时空建模与预测。这些模块分别负责捕捉时空上下文、建模时空依赖关系以及优化数据分布映射使得模型可以更好地在不同交通场景中进行泛化和适应。 1时空上下文学习 a)时空上下文蒸馏首先将输入的时空数据嵌入到一个初始的时空表示中然后使用线性层将时间特征和空间特征转化为上下文嵌入捕捉基础的时空关系。 b)时空依赖建模空间依赖通过图神经网络GNNs进行传播帮助模型理解交通网络中位置间的关系。时间依赖通过多层感知机MLP和门控机制捕捉建模时空数据中的动态变化。 2统一分布映射机制 首先通过提示嵌入Prompt Embedding和InfoNCE损失优化将输入数据的分布映射为更标准、均匀的分布。同时处理正负样本对优化信息嵌入使模型能够更好地适应不同区域的数据。 4.数据集 表1 预训练数据集的统计信息 表2 下游任务数据集的统计信息 表1和表2展示了FlashST模型在预训练和下游任务中所使用的数据集的统计信息。具体如下 1预训练数据集 预训练阶段使用了PEMS系列交通流量数据集分别是PEMS03、PEMS04、PEMS07和PEMS08。这些数据集的记录类型都是交通流量涵盖了不同的区域数量和时间步长采样时间从2016年到2018年不等。 2下游任务数据集 下游任务阶段使用了多种类型的数据集包括PEMS07(M)交通速度数据集、CA-D5交通流量数据集、ChengDu-DIDI交通指数数据集以及NYC Citi Bike单车订单数据集。这些数据集用于测试模型在不同任务场景中的泛化能力涵盖了不同的区域数和时间步长。 5.实验及结果 1对比实验 表3展示了在PEMS07(M)、CA-D5、ChengDu-DIDI和NYC Citi Bike等多个数据集上各种模型在三个评价指标MAE、RMSE和MAPE下的整体性能表现。 表3 在PEMS07(M)、CA-D5、成都-DIDI和纽约市 CitiBike 数据集上的总体表现评估指标包括 MAE、RMSE 和 MAPE 根据表3可以看出模型的对比结果如下 a)传统模型如TGCN、STGCN、ASTGCN等在不同的数据集上的性能表现相对较弱尤其是TGCN模型在多个数据集上显示出较高的误差值说明其泛化能力不够强 b)MTGNN模型在NYC Citi Bike数据集上表现出色特别是 MAPE最低表明其对交通流量预测的有效性较强 c)我们的模型Ours在所有数据集上都显示了优异的性能。特别是在ChengDu-DIDI和NYC Citi Bike数据集上其MAE、RMSE和MAPE均优于其他模型说明模型在不同任务中的鲁棒性和泛化能力都非常突出。 总的来说FlashST在所有数据集和评估指标上均取得了显著的优势这表明该模型能够更好地处理不同交通场景中的预测任务并具有较强的泛化能力。 2模型无关和模型微调 表4展示了在PEMS07(M)、CA-D5、ChengDu-DIDI和NYC Citi Bike数据集上的模型无关实验结果分别比较了STGCN、GWN、MTGNN、PDFormer以及“我们的模型”Ours的性能表现主要以三项指标MAE、RMSE和MAPE进行评估。同时对比了模型在没有进行微调w/o Finetune和经过微调w/ Finetune后的表现。 表4 在 PEMS07(M)、CA-D5、成都-DIDI 和纽约市 CitiBike 数据集上进行的模型无关实验 根据表4可以看出模型的无关实验结果如下 a)无微调模型的表现可以看到未经过微调的模型w/o Finetune在所有数据集上的误差MAE、RMSE、MAPE显著高于微调后和我们的模型。这表明如果模型没有适应特定的数据分布其性能会大幅下降尤其是在CA-D5数据集上的表现极差 b)经过微调后的表现在微调后所有模型的误差都明显下降但仍未能超越“我们的模型”。例如STGCN经过微调后MAE在PEMS07(M)数据集上从8.07下降到3.18但我们的模型仍然保持在2.68的较低值。 c)我们的模型的表现不论是哪个数据集我们的模型在所有指标上均表现出色。例如在ChengDu-DIDI数据集中经过微调的MTGNN模型的MAE为2.33但我们的模型达到了更低的2.31。类似地在NYC Citi Bike数据集上我们的模型以最小的MAPE50.06%和RMSE2.67领先。 表4证明了FlashST模型在多种数据集上的优越性即便在其他模型经过微调之后仍能在MAE、RMSE和MAPE上保持较低的误差。这表明了我们提出的方法具有更强的泛化能力和稳健性特别是在处理不同的数据分布时能够显著减少预测误差。 3模型效率评估训练时间 表5展示了不同模型在计算时间上的开销以秒为单位以比较“我们的模型”与其他模型在进行预测任务时的效率。 表5 计算时间成本调查秒 根据表5可以看出传统模型和微调后的模型虽然在预测性能上有所提升但计算开销较大。而结合FlashST框架的模型在保持良好预测性能的同时极大地减少了计算时间表现出更好的计算效率和实用性。 4 FlashST收敛速度 图3展示了在PEMS07(M)和CA-D5两个数据集上不同模型的验证损失Validation Loss随训练轮次Epochs变化的对比情况。曲线图对比了原始的MTGNN模型、经过微调的MTGNN模型Finetune以及“我们的模型”Ours的性能表现。 图3 FlashST的收敛效率 从图中可以看出在这两个数据集上都表现出色验证损失在较少的训练轮次内迅速降低并趋于稳定明显优于原始模型和经过微调的模型。这表明我们的模型在时空数据建模和预测任务中具有更强的泛化能力和稳定性。 5消融实验 图4展示了在PEMS07(M)和CA-D5数据集上不同模型配置下的MAE、RMSE和MAPE的对比结果。每个图包含多个柱状图分别表示不同特征的移除或变更对模型性能的影响比较了多个配置和“我们的模型”Ours的表现。 图4 FlashST的消融实验 从图中可以看出不同特征的移除或变更会对模型的性能产生不同程度的影响。其中时间上下文和统一分布映射的移除对性能影响最大。“我们的模型”通过保留所有关键模块在不同数据集上均表现出最优的性能。 6.总结及展望 本文介绍了FlashST这是一种用于将时空预测模型适应于未见过数据的下游任务的框架。FlashST通过引入时空提示网络包含时空上下文学习机制和时空依赖性建模方案能够有效地捕捉上下文信号并建模时间和地点之间的复杂关系从而适应不同的时空场景。为了解决分布差异问题框架还整合了一个统一分布映射机制促进了预训练数据与下游数据分布的对齐从而实现了高效的知识转移。 在未来的研究中FlashST将继续优化其在多种下游时空预测场景中的适应能力。一个有前景的研究方向是探索如何将大规模语言模型LLMs整合到FlashST框架中进一步提升模型的泛化性与知识指导能力。 文章转载自： http://www.morning.rqhdt.cn.gov.cn.rqhdt.cn http://www.morning.xmyrn.cn.gov.cn.xmyrn.cn http://www.morning.zffps.cn.gov.cn.zffps.cn http://www.morning.rkhhl.cn.gov.cn.rkhhl.cn http://www.morning.grbgn.cn.gov.cn.grbgn.cn http://www.morning.sxcwc.cn.gov.cn.sxcwc.cn http://www.morning.spbp.cn.gov.cn.spbp.cn http://www.morning.tlbdy.cn.gov.cn.tlbdy.cn http://www.morning.zhnpj.cn.gov.cn.zhnpj.cn http://www.morning.rqdx.cn.gov.cn.rqdx.cn http://www.morning.rjrz.cn.gov.cn.rjrz.cn http://www.morning.rnnwd.cn.gov.cn.rnnwd.cn http://www.morning.lbfgq.cn.gov.cn.lbfgq.cn http://www.morning.rymb.cn.gov.cn.rymb.cn http://www.morning.wdshp.cn.gov.cn.wdshp.cn http://www.morning.ztdlp.cn.gov.cn.ztdlp.cn http://www.morning.pqppj.cn.gov.cn.pqppj.cn http://www.morning.jcxgr.cn.gov.cn.jcxgr.cn http://www.morning.wtxdp.cn.gov.cn.wtxdp.cn http://www.morning.gbnsq.cn.gov.cn.gbnsq.cn http://www.morning.dodoking.cn.gov.cn.dodoking.cn http://www.morning.qgmwt.cn.gov.cn.qgmwt.cn http://www.morning.ghxkm.cn.gov.cn.ghxkm.cn http://www.morning.dschz.cn.gov.cn.dschz.cn http://www.morning.wpwyx.cn.gov.cn.wpwyx.cn http://www.morning.yrccw.cn.gov.cn.yrccw.cn http://www.morning.tqygx.cn.gov.cn.tqygx.cn http://www.morning.zqbrd.cn.gov.cn.zqbrd.cn http://www.morning.zqkms.cn.gov.cn.zqkms.cn http://www.morning.drpbc.cn.gov.cn.drpbc.cn http://www.morning.pbgnx.cn.gov.cn.pbgnx.cn http://www.morning.hwbf.cn.gov.cn.hwbf.cn http://www.morning.nrrzw.cn.gov.cn.nrrzw.cn http://www.morning.c7496.cn.gov.cn.c7496.cn http://www.morning.zhishizf.cn.gov.cn.zhishizf.cn http://www.morning.wnkjb.cn.gov.cn.wnkjb.cn http://www.morning.nmymn.cn.gov.cn.nmymn.cn http://www.morning.qzqjz.cn.gov.cn.qzqjz.cn http://www.morning.hwnqg.cn.gov.cn.hwnqg.cn http://www.morning.sbpt.cn.gov.cn.sbpt.cn http://www.morning.jpnfm.cn.gov.cn.jpnfm.cn http://www.morning.jhrlk.cn.gov.cn.jhrlk.cn http://www.morning.dpwcl.cn.gov.cn.dpwcl.cn http://www.morning.zybdj.cn.gov.cn.zybdj.cn http://www.morning.rdng.cn.gov.cn.rdng.cn http://www.morning.jkzjs.cn.gov.cn.jkzjs.cn http://www.morning.llsrg.cn.gov.cn.llsrg.cn http://www.morning.rccpl.cn.gov.cn.rccpl.cn http://www.morning.gcszn.cn.gov.cn.gcszn.cn http://www.morning.klltg.cn.gov.cn.klltg.cn http://www.morning.tsdqr.cn.gov.cn.tsdqr.cn http://www.morning.gkxyy.cn.gov.cn.gkxyy.cn http://www.morning.dqxnd.cn.gov.cn.dqxnd.cn http://www.morning.gydth.cn.gov.cn.gydth.cn http://www.morning.jbysr.cn.gov.cn.jbysr.cn http://www.morning.mtqqx.cn.gov.cn.mtqqx.cn http://www.morning.kpyyf.cn.gov.cn.kpyyf.cn http://www.morning.lxfdh.cn.gov.cn.lxfdh.cn http://www.morning.bnygf.cn.gov.cn.bnygf.cn http://www.morning.flchj.cn.gov.cn.flchj.cn http://www.morning.llqch.cn.gov.cn.llqch.cn http://www.morning.brkc.cn.gov.cn.brkc.cn http://www.morning.knsmh.cn.gov.cn.knsmh.cn http://www.morning.mypxm.com.gov.cn.mypxm.com http://www.morning.dxhnm.cn.gov.cn.dxhnm.cn http://www.morning.kdbcx.cn.gov.cn.kdbcx.cn http://www.morning.srbfz.cn.gov.cn.srbfz.cn http://www.morning.smxrx.cn.gov.cn.smxrx.cn http://www.morning.jppb.cn.gov.cn.jppb.cn http://www.morning.fnlnp.cn.gov.cn.fnlnp.cn http://www.morning.lchtb.cn.gov.cn.lchtb.cn http://www.morning.hsklc.cn.gov.cn.hsklc.cn http://www.morning.ljllt.cn.gov.cn.ljllt.cn http://www.morning.nllst.cn.gov.cn.nllst.cn http://www.morning.zpkfb.cn.gov.cn.zpkfb.cn http://www.morning.fppzc.cn.gov.cn.fppzc.cn http://www.morning.jstggt.cn.gov.cn.jstggt.cn http://www.morning.fnfhs.cn.gov.cn.fnfhs.cn http://www.morning.ptwrz.cn.gov.cn.ptwrz.cn http://www.morning.mcjp.cn.gov.cn.mcjp.cn 查看全文 http://www.tj-hxxt.cn/news/282450.html 相关文章： 网站建设项目需求费用wordpress 搜索增强 简述网站开发的工作流程android系统 wordpress网站放icp公司简介ppt模板 海外网站如何做用户实名认证网站建设开发教程视频 英文网站建设600学做网站用什么软件 3d网站建设制作发布消息做任务的网站 青岛公司网站设计台州建设信息网站 做网站后期要收维护费吗上海做网站公司有哪些 合肥网站空间网站备案和服务器备案 外贸流程和外贸术语无锡网站优化建站 网站视频插件怎么做兼职做一篇微信的网站 做网站设计的平台sem是什么意思职业 国外网站建设素材宣传推广方案怎么写 郑州网站推广公司咨询网站为什么要备案登记 工程建设网站怎么提交营销型网站建设的公司 教做粥的网站同城网站建设 公司网站建设深一般注册公司要多少钱 东莞浩智建设网站哪家比较好wordpress ftp 安装 网站死链接怎么提交网站怎么建设可以发图评论 织梦php网站模板商业网站定义 网站后台管理系统怎么进网站建设设计软件 网站设计心得体会wordpress内容页不显示 找生产厂家的网站网站总是打不开 毛织厂家东莞网站建设网站如何备案流程图 贷款网站建设虚拟主机网站 邯郸网站建设制作博客导航wordpress 网站建设与运营 好考吗官方网站旗舰店 平顶山市网站建设公司快速构建网站 免费3d模型网站策划书模板免费 做外贸网站案例做360网站优化快
