html网站标签,网站主题模板下载,网店代运营是什么意思,品牌推广岗位职责我自己的原文哦~ https://blog.51cto.com/whaosoft/12707676
#DiffusionDrive
大幅超越所有SOTA#xff01;地平线DiffusionDrive#xff1a;生成式方案或将重塑端到端格局#xff1f;
近年来#xff0c;由于感知模型的性能持续进步#xff0c;端到端自动驾驶受到了来…我自己的原文哦~ https://blog.51cto.com/whaosoft/12707676
#DiffusionDrive
大幅超越所有SOTA地平线DiffusionDrive生成式方案或将重塑端到端格局
近年来由于感知模型的性能持续进步端到端自动驾驶受到了来自工业界和学术界的广泛关注端到端自动驾驶算法直接从原始传感器采集到的信息输入中学习驾驶策略。这种基于数据驱动的方法为传统的基于规则的运动规划提供了一种可扩展且强大的替代方案而传统的基于规则的运动规划通常难以推广到复杂的现实世界驾驶环境。为了有效地从数据中学习驾驶过程主流的端到端规划器通常从自车查询中回归出单模轨迹如下图所示。 然而这种回归单模轨迹的框架模式并没有考虑到驾驶行为中固有的不确定性和多模式的性质。最近提出的端到端自动驾驶算法VADv2引入了大量固定的锚点轨迹vocabulary。然后根据预测的评分从这些锚点中进行采样。然而这种大型固定vocabulary范式从根本上受到锚点轨迹数量和质量的限制在vocabulary不足的情况下经常会失败。此外管理大量锚点对实时的自动驾驶应用来说带来了巨大的计算挑战。
与离散化动作空间不同扩散模型已被证明是机器人领域一种强大的生成决策策略它可以通过迭代去噪过程的方式直接从高斯分布中采样多模式物理上合理的动作。这激励我们将机器人领域的扩散模型的成功经验复制到端到端自动驾驶领域当中。
我们将原始机器人扩散策略应用于单模回归方法Transfuser。与普通扩散策略不同人类驾驶员遵循既定的驾驶模式并根据实时交通状况进行动态调整。这一认识促使我们将这些先前的驾驶模式嵌入到扩散策略中具体方法是将高斯分布划分为以先前锚点为中心的多个子高斯分布称为anchored Gaussian分布。它是通过截断diffusion schedule来实现的从而在先前的锚点周围引入一小部分高斯噪声如下图所示。 为了增强与条件场景上下文的交互我们提出了一种基于Transformer的扩散解码器它不仅与感知模块的结构化查询交互还通过稀疏可变形注意机制与鸟瞰图 和透视图特征交互。此外我们引入了一种级联机制在每个去噪步骤中迭代细化扩散解码器内的轨迹重建。
最终我们提出了一种实时端到端自动驾驶的扩散模型称之为DiffusionDrive。我们在NAVSIM数据集上对我们的方法进行闭环评估的基准测试。相关的实验结果表明DiffusionDrive实现了88.1的PDMS显著超过了之前的SOTA算法。此外我们通过开环评估进一步验证了DiffusionDrive在nuScenes数据集上的性能 相关的实验结果表明提出的DiffusionDrive实现了SOTA的表现结果。
论文链接https://arxiv.org/pdf/2411.15139
算法模型网络结构技术细节梳理
调研工作
如前文所述我们先从非常具有代表性的端到端规划算法Transfuser开始通过简单地将回归MLP层替换为遵循扩散策略的条件扩散模型 UNet将其转变为生成模型。在评估过程中我们采样随机噪声并通过20个step逐步对其进行细化相关的实验结果如下表所示。 为了进一步研究扩散策略在驾驶中的多模式特性我们从高斯分布中采样了20个随机噪声并使用20个step对其进行去噪。如下图所示。 不同的随机噪声在去噪后会收敛到相似的轨迹。为了定量分析模式坍塌现象我们定义了一个模式多样性得分根据每条去噪轨迹与所有去噪轨迹的并集之间的平均交并比计算得到 相关的实验结果如下表所示。通过表格中的结果可以看出mIoU 越高表示去噪轨迹的多样性越低。通过可视化的结果可以看出类似的效果。此外通过下表的实验结果还可以看出DDIM扩散策略需要20个去噪step才能将随机噪声转换为可行轨迹这会带来大量计算开销。这使得它对于实时在线驾驶应用来说不切实际。 截断扩散
人类的驾驶行为遵循着固定模式不同于普通扩散策略中的随机噪声去噪。受此启发我们提出了一种截断扩散策略该策略从锚定高斯分布而不是从标准高斯分布开始进行去噪过程。为了使模型能够学习从锚定高斯分布到所需的驾驶策略进行去噪我们在训练期间进一步截断扩散计划只向锚点添加少量高斯噪声。
训练过程我们首先通过向训练集上由K-Means 聚类的锚点添加高斯噪声来构建扩散过程。我们通过截断扩散噪声方案来将锚点扩散到锚定高斯分布相关的计算公式如下。 在训练期间扩散解码器将噪声轨迹作为输入并预测分类分数和去噪轨迹相关公式如下。 我们将最接近真实轨迹的锚点周围的噪声轨迹指定为正样本其他轨迹指定为负样本。训练目标结合了轨迹重建和分类计算公式如下所示。 推理过程我们使用截断去噪过程从锚定高斯分布中采样的噪声轨迹开始并逐步对其进行去噪直至完成最终预测。在每个去噪时间戳中上一步估计的轨迹被传递给扩散解码器该解码器预测分类分数和坐标。在获得当前时间戳的预测后我们将 DDIM 更新规则应用于下一个时间戳的样本轨迹。
推理灵活性我们提出的自动驾驶DiffusionDrive算法的一个关键优势在于其推理的灵活性。虽然模型是用轨迹进行训练的但其推理过程可以容纳任意数量的轨迹样本并可以根据计算资源或应用要求进行动态的调整。
DiffusionDrive算法整体框架图
如下图所示展示了我们提出的算法模型DiffusionDrive的网络结构。 DiffusionDrive算法模型可以集成之前端到端规划器中使用的各种现有感知的模块并接受不同的传感器信息作为输入。设计的扩散解码器专为复杂且具有挑战性的驾驶应用而量身定制增强了与条件场景环境的交互。
Diffusion Decoder给定一组从锚定高斯分布中采样的噪声轨迹我们首先应用可变形空间交叉注意力来与基于轨迹坐标的鸟瞰图 (BEV) 或透视图 (PV) 特征进行交互。随后在轨迹特征和从感知模块派生的代理/地图查询之间执行交叉注意力然后接一个FFN网络。为了对扩散时间戳信息进行编码我们使用Timestep Modulation Layer然后是多层感知机网络用于预测置信度得分和相对于初始噪声轨迹坐标的偏移量。该Timestep Modulation Layer的输出用作后续级联扩散解码器层的输入。DiffusionDrive 进一步重用级联扩散解码器在推理过程中迭代地对轨迹进行去噪并在不同的去噪时间步长之间共享参数。选择置信度得分最高的最终轨迹作为输出。
实验结果评价指标
整体性能比较
下表展现了将DiffusionDrive与NAVSIM数据集上最先进的算法模型进行比较的实验结果汇总。 使用相同的 ResNet-34主干网络DiffusionDrive 获得了 88.1 PDMS 分数与之前基于学习的方法相比其性能有显著的提高。与 VADv2自动驾驶算法相比 DiffusionDrive 超越了它 7.2 PDMS同时将锚点数量从 8192 个减少到 20 个减少了 400 倍。DiffusionDrive 还优于遵循 VADv2 的vocabulary采样范式的 HydraMDP算法模型PDMS相比于提高了 5.1。即使与性能更强的算法模型相比DiffusionDrive 仍然比它高出 3.5 个 EP 和 1.6 个整体 PDMS完全依赖于直接向人类学习的方法没有任何的后处理操作步骤。与 Transfuser算法模型的基线相比我们仅在规划模块上有所不同DiffusionDrive 实现了显着的 4.1 PDMS 改进在所有子分数中均优于它。
此外如下表所示使用扩散策略将Transfuser算法模型转换为生成式可将PDMS 得分提高 0.6并提高模式多样性得分11%。然而它也显著增加了规划模块的开销需要 20 倍以上的去噪step和 32 倍的时间导致运行时开销总共增加了 650 倍。 通过采用所提出的截断扩散策略将去噪step的数量从 20 减少到 2同时实现了 PDMS 增加 1.1模式多样性提高 59%。通过进一步结合所提出的扩散解码器最终 DiffusionDrive 模型达到了 88.1 PDMS 和 74% 的模式多样性得分。相比于DiffusionDrive实现了3.5 PDMS 和 64% 模式多样性的改进 以及去噪step减少了10倍从而使 FPS 速度提高了 6 倍。这可以实现实时、高质量的多模式规划。
消融实验分析
下表显示了我们在扩散解码器中的设计选择的有效性。通过比较 ID-6 和 ID-1我们可以看到所提出的扩散解码器减少了 39% 的参数并将规划质量显著提高了 2.4 PDMS。由于缺乏与环境的丰富和层次化交互ID-2 表现出严重的性能下降。通过比较 ID-2 和 ID-3我们可以看到空间交叉注意对于准确规划至关重要。ID-5 表明所提出的级联机制是有效的并且可以进一步提高性能。 下表的实验结果表明由于起始点的选择比较合理DiffusionDrive仅需1步即可达到良好的规划质量。进一步增加去噪步长可以提高规划质量并使其在复杂的环境下具有灵活的推理能力。 通过下表的实验结果可以看出消除了级联阶段数的影响。增加阶段数可以提高规划质量但在 4 个阶段就会饱和并且每一步都会花费更多的参数和推理时间。 由于在上文中已经有所提到DiffusionDrive 只需从锚定高斯分布中采样可变数量的噪声即可生成不同的轨迹。下表的相关实验结果可以看出10 个采样噪声已经可以实现不错的规划质量。通过采样更多噪声DiffusionDrive 可以覆盖潜在的规划动作空间并提高规划质量。 由于 PDMS 规划指标基于得分最高的轨迹进行计算而我们提出的分数评估模式多样性因此仅凭这些指标无法完全捕捉多样化轨迹的质量。为了进一步验证多模式轨迹的质量我们在 NAVSIM数据集上的具有挑战性的场景中可视化了 Transfuser、和 DiffusionDrive 的规划结果如下图所示。 通过可视化的结果可以看出DiffusionDrive 生成的多模式轨迹不仅多样性而且质量较高。在上图的a图展示的结果可以看出DiffusionDrive 算法模型生成的得分最高的前 10 条轨迹与真实轨迹非常相似而突出显示的前 10 条得分轨迹出人意料地试图执行高质量的车道变换。上图的b图展示的结果可以看出突出显示的前 10 条得分轨迹也执行车道变换相邻的低得分轨迹进一步与周围的代理交互以有效避免了碰撞的发生。
nuScenes 数据集是之前流行的端到端规划基准。由于 nuScenes 的主要场景都是简单而琐碎的情况因此我们仅进行相关结果的比较如下表所示。 我们根据 SparseDrive 的训练和推理方案使用 ST-P3中提出的开环指标在 SparseDrive之上实现了 DiffusionDrive算法模型。我们堆叠了 2 个级联扩散解码器层并应用了具有 18 个聚类锚点的截断扩散策略。通过上表的实验结果可以看出DiffusionDrive 将 SparseDrive 的平均 L2 误差降低了 0.04m与之前最先进的方法相比实现了最低的 L2 误差和平均碰撞率。同时 DiffusionDrive 算法模型也非常高效运行速度比 VAD 快 1.8 倍L2 误差降低了 20.8%碰撞率降低了 63.6%。
结论
在本文中我们提出了一种新颖的生成式驾驶决策模型 DiffusionDrive该模型结合了所提出的截断扩散策略和高效的级联扩散解码器用于端到端自动驾驶。全面的实验和定性比较验证了 DiffusionDrive 在规划质量、运行效率和模式多样性方面的优越性。 #机器人甚至可以在火锅店中无痛部署
Data Scaling Law
想象一下你正在火锅店涮肉一位“人美声靓”的服务员悄然从你身边走过不仅及时地为你把菜送到身边还帮你把菜端到桌子上并摆放整齐。正在酣畅淋漓涮肉的你正想夸一下这家店的服务真不错猛一抬头发现居然是个机器人
咨询了店长才知道这是昨天刚到的一批“服务员”。内心更加震惊居然这么快就上岗工作了都不用培训即插即用
这大概就是Scaling law的魔力了吧。
现如今大模型已发展得如火如荼然而为什么还没有实现真正的落地也就是说为了让AI渗透到生活的每个角落实现边缘化部署还需要做什么有一点亟需研究清楚即模型性如何能随数据集、模型大小和训练计算量的增加而提升这就是Data Scaling Law也可称为数据缩放定律。如何在保留数据集关键信息的同时尽可能减少数据量而不牺牲模型的性能如何在不增加计算资源的情况下尽量降低模型的错误率
早在2020年OpenAI就提出了对Neural Language Models的Scaling lawKaplan et al.https://arxiv.org/pdf/2001.08361说明了模型性能随着模型参数量、数据量和用于训练的计算量的指数级增加而平稳提高。对于计算量C模型参数量P和数据大小D当不受其他两个因素制约时模型性能与每个因素都呈现幂律关系。2022年DeepMind团队(Hoffmann et al., https://arxiv.org/pdf/2203.15556)发现不应该将大模型训练至最低的可能loss来获得计算最优模型规模和训练tokens的数量应按相同比例扩展。2023年Hugging Face团队Colin Raffel et al., https://arxiv.org/pdf/2305.16264)发现在量化在数据受限的情况下通过增加训练epoch和增加模型参数可以以次优计算利用率为代价提取更多的信息。
通过适当的数据缩放单任务策略可以很好地泛化到任何新环境以及同一类别中的任何新对象。值得注意的是机器人甚至可以在火锅店中进行零样本部署
时长00:38
视频来源https://data-scaling-laws.github.io/
文章表明当前机器人策略缺乏零样本泛化能力文章旨在研究机器人操作中数据缩放规律为构建大规模机器人数据集提供指导。文章探讨了机器人操作模仿学习中的数据缩放规律通过实验揭示了策略泛化性能与训练环境、对象及演示数量的关系提出了高效的数据收集策略。 DATA SCALING LAWS IN IMITATION LEARNING FOR ROBOTIC MANIPULATION https://data-scaling-laws.github.io/https://data-scaling-laws.github.io/paper.pdf 论文通过 Pour Water倒水和 Mouse Arrangement鼠标放置两项任务进行大量实验以得出数据缩放规律并在 Fold Towels叠毛巾和 Unplug Charger拔充电器等其他任务上进一步验证这些发现。文章的发现如下
简单幂律策略对新对象、新环境或两者的泛化能力分别大致与训练对象、训练环境或训练环境 - 对象对的数量呈幂律关系。多样性就是关键增加环境和对象的多样性远比增加每个环境或对象的演示绝对数量更有效。泛化比预期更容易在尽可能多的环境例如 32 个环境中收集数据每个环境有一个独特的操作对象和 50 次演示就能够训练出一个对任何新环境和新对象都能很好泛化90% 成功率的策略。
相关工作
那么有哪些已有研究工作与机器人操作数据缩放定律相关呢
缩放规律缩放规律最初在神经语言模型中被发现揭示了数据集大小或模型大小、计算量与交叉熵损失之间的幂律关系。机器人操作中的数据缩放机器人操作领域也有数据规模扩大的趋势但部署仍需微调。本文关注训练可直接在新环境和未见对象中部署的策略同时也有研究探索提高数据缩放效率以增强泛化能力。机器人操作中的泛化包括对新对象实例、新环境的泛化以及遵循新任务指令的泛化。本文专注于前两个维度即创建能在任何环境中操作同一类别内几乎任何对象的单任务策略。
研究方法
概括维度考虑环境对未见环境的泛化和对象对同一类别新对象的泛化两个维度通过收集不同环境和对象的人类演示数据使用行为克隆BC训练单任务策略。数据缩放规律公式化在M个环境和N个同一类别的操作对象中收集演示数据每个环境 - 对象对收集K个演示评估策略在未见环境和对象上的性能以揭示泛化能力与变量M、N、K的关系。评估通过在未见环境或对象中测试评估策略泛化性能使用测试者分配的分数作为主要评估指标计算归一化分数同时最小化测试者主观偏差确保结果可靠。
实验结果与分析
实验结果如下。以Pour Water和Mouse Arrangement任务为例增加训练对象数量可提高策略对未见对象的性能对象泛化相对容易实现且训练对象增多时每个对象所需演示减少。
用相同操作对象在不同环境收集数据增加训练环境数量可提升策略在未见环境的泛化性能但每个环境中演示数量增加对性能提升的作用会快速减弱且环境泛化比对象泛化更具挑战性。
在环境和对象同时变化的设置中增加训练环境 - 对象对数量可增强策略泛化性能且同时改变环境和对象比单独改变更能增加数据多样性使策略学习更高效。
实验结果遵循幂律缩放规律策略对新对象、新环境或两者的泛化能力分别与训练对象、环境或环境 - 对象对数量呈幂律关系当环境和对象数量固定时演示数量与策略泛化性能无明显幂律关系。
为了实现高效的数据收集策略文章建议在尽可能多的不同环境中收集数据每个环境使用一个独特对象当环境 - 对象对总数达到32时通常足以训练出在新环境中操作未见对象的策略。
实验表明超过一定数量的演示收益甚微对于类似难度任务建议每个环境 - 对象对收集50个演示更具挑战性的灵巧操作任务可能需要更多演示。
为了验证上述策略的合理性将数据收集策略应用于Fold Towels和Unplug Charger新任务四个任务包括之前的Pour Water和Mouse Arrangement的策略成功率约达90%凸显了数据收集策略的高效性。
模型大小和训练策略研究Diffusion Policy中视觉编码器的训练策略和参数缩放影响发现预训练和全量微调对视觉编码器至关重要增加其大小可提升性能但缩放动作扩散U - Net未带来性能提升。
文章还强调数据缩放应注重数据质量本文揭示了环境和对象多样性在模仿学习中的重要价值。但本文仍存在一些局限性比如当前工作专注于单任务策略的数据缩放未探索任务级泛化仅研究了模仿学习中的数据缩放强化学习或可进一步增强策略能力UMI收集数据存在小误差且仅用Diffusion Policy算法建模未来可研究数据质量和算法对数据缩放规律的影响资源限制下仅在四个任务上探索和验证数据缩放规律期望未来在更多复杂任务上验证结论。 #生成模型 | 去噪扩散模型 DDPM 半小时理论扫盲
本文希望先跳过很多不熟悉的名词和定理找出我认为适合初学者理解的部分下一篇文章 [生成模型 2] 整流流 Rectified Flow 理论简介
有个完整理解后再看 ewrfcas由浅入深了解Diffusion Model 就不会觉得害怕
本文大量参考了网上文献和使用 跃问 辅助如有纰漏求指正
主要参考的是苏神的 生成扩散模型漫谈一DDPM 拆楼 建楼 和 生成扩散模型漫谈二DDPM 自回归式VAEDDPM 论文
假设读者记得一些概率论的基本知识如果忘了可以移步 Deja vu一文带你看懂DDPM和DDIM含原理简易推导pytorch代码 看前置知识 核心价值 以能量模型为抓手将得分匹配下沉到朗之万方程的动态轨迹打通马尔可夫链底层逻辑发力变分推断引爆点形成去噪过程递归闭环拉通前向-反向全链路卡位生成模型赛道造势图像生成风口布局多模态蓝海沉淀噪声调度护城河赋能潜在空间表征倒逼模型优化输出高质量样本反馈升华生成建模格局重塑数据生成认知矩阵击穿传统生成模型研究员心智打出一套组合拳。 生成扩散模型介绍
从 2019 BigGAN 可以生成 ImageNet 某一类别的 128p 图片2022-2023 的 DALLE-2/3 又是新的里程碑
用卷积神经网络做图像任务模型性能随着模型参数 / 训练数据量增加其实经常是边际收益递减的
我理解 transformer 流行的一个原因是在模型放大时能有不错的边际收益而生成扩散模型则找到了一种可以在推理时使用非常大算力来提升效果的范式这两者实现它们和卷积神经网络的差异化
分步扩散和生成
我们的目标是一个生成模型它从随机噪声 z 变成数据样本 x 如果我们能把中间扩散的每一步的逆过程 生成 建模出来得到一个生成函数:()(2)
然后从随机噪声 z 开始生成 T 步就得到了 x CVDL 白话训练的时候随机采样数据 x 和步数 t学到的变换模型推理的时候从一个随机高斯噪声递归调用 T 步学出来的模型得到生成结果 具体来说DDPM 的扩散过程是 其一般形式来自 Variational Diffusion ModelsVariational Diffusion Models 之后推导中可以把系数看作是我们选的常数项 这里可以看到可训练参数是噪声项的下标表示我们实际上是在预测第 t 步添加到数据样本中的噪声实现上就是一个输入 xt 和 t 的神经网络
代入损失函数有
推导中把 xt 变成了 x0 的加噪形式 (4) 小结到这里我们已经了解很多了我们知道了一个单步的具体优化过程其中只有一个关键步骤是高斯噪声叠加过程的理解 接下来这个小节是为了把两个通过一些技巧变成一个使得我们采样时方差变小优化更简单
损失函数优化可以跳过 参数选取 在实践中DDPM 设置生成步数 T1000后续有很多工作讨论加速和优化 另一方面据苏神解释在图像上用欧式距离时当两张图片非常接近时才好度量所以不管是选取大的 T还是单调递减的都是希望在靠近图片一侧的扩散过程的每一步都走的不太远而在靠近噪声一侧走得远一点也无妨
我感觉就算选取了更好的度量我们仍然会希望把更多的推理开销花在靠近图片的一侧而不是最初叠加噪声的过程 小结以上其实就是完整推导后面是从 VAE 的角度再解释一遍大部分推导技巧是一致的 VAE 角度理解
稍微介绍几句 VAE做过一段神经网络的朋友应该都知道编解码结构z g(x), x f(z)
用一张图 x 和 f(g(x)) 计算欧式距离就可以训练这样一对网络
如果我们抛弃掉 g随便采样一个 z解码 f(z) 出来会发现基本上是噪声
这是因为 z 的先验分布 q(z) 没有建模f 对随机的 z 是不鲁棒的
VAE 会将条件分布 p(z|x)编码和 q(x|z)解码以及 q(z) 建模为高斯分布
但是这种一步到位的做法并不能提供足够强的表达能力 做生成模型的目标是希望生成模型的联合分布 q 尽可能接近真实数据的联合分布 p可以通过最小化 KL 散度实现
联系到 DDPM
在 DDPM 中模型每一步的编码过程 p (3)是不含可训练参数的所以标红的 p 是常数项
所以 (16) 就是
对比一下就是把 log 下面的分母变出前面负号然后写成求和形式
这里的先验分布q()一般取标准高斯分布 所以取 log 是常数项
看求和中的第 t 步
(18) 其实就是 (8) 多了权重和常数项往后推的结果和 (11) 也只是有权重系数区别
这个系列为了督促自己补齐相关知识希望能持续写一段时间 #xxx
#xxx
#xxx
#xxx
#xxx
#xxx
#xxx
