当前位置：首页 > news >正文

新乡公司网站建设怎样在国外网站上做宣传

news 2025/10/28 20:08:52

新乡公司网站建设,怎样在国外网站上做宣传,WordPress表单系统,烟台装修公司网站建设文章目录一、多媒体推荐中的模态平衡学习1.1 研究背景1.2 解决问题1.3 实施方案1.4 文章摘要1.5 文章重点1.6 文章图示图 1#xff1a;不同模型变体在 AmazonClothing 数据集上的初步研究图 2#xff1a;CKD模型架构的说明图 3#xff1a;在 Amazon-Clothing 数据集上训练过… 文章目录一、多媒体推荐中的模态平衡学习1.1 研究背景1.2 解决问题1.3 实施方案1.4 文章摘要1.5 文章重点1.6 文章图示图 1不同模型变体在 AmazonClothing 数据集上的初步研究图 2CKD模型架构的说明图 3在 Amazon-Clothing 数据集上训练过程中的性能曲线二、音视频语音识别中丢失导致的模态偏差对丢失视频帧鲁棒性的影响2.1 研究背景2.2 解决问题2.3 实施方案2.4 文章摘要2.5 文章贡献2.6 文章图示图 1不同dropout率下AVSR的CER退化曲线图 2ASR和AVSR转录相似性分析图 3ASR和不同AVSR设置的中间表示相似性矩阵图 4模态偏差假设MBH的说明图 5所提出的AVSR系统的整体框架一、多媒体推荐中的模态平衡学习 1.1 研究背景多媒体内容在现代网络时代的主导地位以及推荐系统在处理多媒体内容时面临的挑战。随着互联网内容以多种形式如图像、文本、视频等呈现如何有效地整合这些多模态信息成为推荐系统研究的关键问题。然而多模态信息的整合常常遇到模态不平衡问题即不同模态之间的信息量不平衡导致在所有模态上优化相同目标时弱模态的性能优化不足。 1.2 解决问题多模态推荐模型中的模态不平衡问题即在多模态推荐系统中由于不同模态的信息量不平衡导致某些模态如视觉模态的性能优化不足从而影响整体推荐效果。 1.3 实施方案提出了一种名为Counterfactual Knowledge Distillation (CKD) 的方法通过模态特定的知识蒸馏来指导多模态模型从单模态教师模型中学习特定于模态的知识。此外设计了一种新颖的通用和特定蒸馏损失以指导多模态学生模型从教师模型中学习更广泛和深入的知识。通过使用反事实推断技术估计每个模态对训练目标的因果效应可以确定弱模态量化不平衡程度并相应地重新加权蒸馏损失。CKD方法可以作为插件模块用于晚期融合和早期融合的任何现有多媒体推荐模型。 1.4 文章摘要论文的摘要指出多模态内容的推荐系统需要有效地整合来自不同模态的信息。然而不同模态之间的信息不平衡导致了弱模态的性能优化不足。为了解决这些问题论文提出了CKD方法该方法通过模态特定的知识蒸馏和反事实推断技术解决了模态不平衡问题并充分利用了所有模态。通过在六个不同的推荐系统模型上进行广泛的实验证明了CKD方法可以显著提高推荐性能。 1.5 文章重点提出了CKD框架用于解决多模态推荐中的模态不平衡问题。设计了模态特定的知识蒸馏方法和通用-特定蒸馏损失。使用反事实推断技术来估计模态的因果效应并据此调整蒸馏损失的权重。在多个数据集和推荐系统模型上验证了CKD的有效性。 1.6 文章图示图 1不同模型变体在 AmazonClothing 数据集上的初步研究这张图展示了在 AmazonClothing 数据集上多模态模型与单模态模型仅文本和仅图像模型的性能比较。图中显示了召回率Recall20随训练周期Epoch的变化。阴影区域表示每种模态在多模态模型中的优化不足程度。使用早停法early stopping结束训练导致不同模型的曲线长度不同。从图中可以看出多模态模型中的视觉和文本模态的性能都不如相应的单模态模型这表明在多模态联合训练过程中不同模态之间存在相互抑制现象导致整体性能低于单模态模型的简单相加1 1 2。此外性能较差的弱模态例如示例中的视觉模态遭受更严重的优化不足问题。在推荐系统中召回率Recall是衡量模型性能的一个重要指标它表示的是推荐系统能够从所有相关项中检索到的项的比例。召回率越高意味着推荐系统能够找到更多用户可能感兴趣的项目从而提供更全面的推荐。召回率的计算公式为 Recall Number of relevant items retrieved Number of relevant items \text{Recall} \frac{\text{Number of relevant items retrieved}}{\text{Number of relevant items}} RecallNumber of relevant itemsNumber of relevant items retrieved 召回率关注的是推荐系统是否能够捕捉到用户的所有潜在兴趣而不是推荐列表中的排名或排序。然而召回率并不是唯一的性能指标。在实际应用中通常会结合其他指标来全面评估推荐系统的性能例如精确率Precision推荐系统推荐的项目中相关项目所占的比例。精确率越高表示推荐结果的质量越好用户遇到不相关推荐的概率越低。 F1分数F1 Score精确率和召回率的调和平均数用于在两者之间取得平衡。图 2CKD模型架构的说明这个图表由三部分组成分别展示了 CKD 模型的整体框架、蒸馏损失的说明以及学习速度估计的说明。 (a) 整体框架展示了通过模态特定的知识蒸馏CKD 如何指导多模态模型从单模态教师模型中学习特定于模态的知识从而缓解模态之间的竞争。λ 通常表示一个超参数用于平衡不同损失函数之间的权重。在机器学习模型中特别是在包含多个损失函数或目标函数的情况下超参数 λ 用于调整这些函数在最终优化目标中的相对重要性。 (b) 蒸馏损失的说明在训练三元组上使用铰链蒸馏损失鼓励学生模型在训练三元组上的表现优于教师模型在没有监督的通用三元组上使用交叉熵蒸馏损失鼓励学生模型模仿教师模型。 © 学习速度估计的说明通过反事实推断可以估计每个模态在黑盒多模态模型中的学习速度从而估计模态之间的不平衡程度。图2aCKD模型架构示意图。通过特定于模态的知识蒸馏CKD可以引导多模态模型从单模态教师那里学习特定于模态的知识从而缓解模态之间的竞争§3.1。(b)在训练三元组上铰链蒸馏损失鼓励学生模型比教师表现得更好§3.1.3而在没有监督的通用三元组上CE蒸馏损失鼓励学生模型模仿教师§3.1.4。©通过反事实推理我们可以估计黑盒多模态模型中每个模态的学习速度§3.2。 w/supervision (有监督) 这个术语指的是在训练过程中使用明确标注的数据即训练集中的三元组 ((u, i, j))其中 (i) 是用户 (u) 的正样本用户与项目的实际互动而 (j) 是负样本用户未与该项目互动。在这种情况下模型有明确的信号来判断一个推荐是好是坏因此可以使用这种监督信息来指导模型的训练。 w/o supervision (无监督) 相对的“w/o supervision” 指的是在训练过程中不依赖于明确标注的数据。在多模态学习中这可能意味着使用一些通用的三元组 ((u, i, j))其中 (i) 和 (j) 并不固定为正负样本而是随机或均匀采样的。这种情况下模型没有明确的监督信号来区分好的推荐和坏的推荐因此需要使用不同的策略来学习。 Lhinge (铰链损失) “Lhinge” 指的是铰链损失Hinge Loss这是一种常用于分类任务的损失函数特别是在支持向量机SVM中。在蒸馏过程中铰链损失用于鼓励学生模型在训练三元组上的预测性能超越教师模型。具体来说铰链损失会惩罚那些学生模型预测不如教师模型的情况从而推动学生模型在模仿教师的同时努力超越教师模型的性能。 Lce (交叉熵损失) “Lce” 指的是交叉熵损失Cross-Entropy Loss这是一种常用于分类任务的损失函数特别是在训练神经网络时。在蒸馏过程中交叉熵损失用于无监督场景鼓励学生模型模仿教师模型的输出。即使没有明确的正负样本标签交叉熵损失也可以通过比较学生模型和教师模型对通用三元组的预测来帮助学生模型学习。在CKD框架中通过结合有监督和无监督的蒸馏损失模型可以在保留教师模型知识的同时提高对多模态数据的理解和预测性能。这种结合使用铰链损失和交叉熵损失的策略使得模型在训练时既能够利用明确的监督信号又能够从更广泛的数据中学习从而提高模型的泛化能力和推荐质量。图 3在 Amazon-Clothing 数据集上训练过程中的性能曲线这张图展示了在 Amazon-Clothing 数据集上使用 CKD 方法和不使用 CKD 方法的多模态模型以及单模态模型的性能变化。图中显示了召回率Recall20随训练周期Epoch的变化。可以看出使用 CKD 方法的模型在整体多模态性能和单模态性能上都优于不使用 CKD 方法的模型这表明 CKD 方法能够有效提高模型在多模态学习中的性能。在Amazon-Clothing数据集上训练期间的性能曲线。阴影区域表示我们的方法的改进最好用彩色显示。二、音视频语音识别中丢失导致的模态偏差对丢失视频帧鲁棒性的影响 AVSR 视听语音识别 ASR 自动语音识别 2.1 研究背景研究背景先进的视听语音识别AVSR系统在处理缺失视频帧的情况下表现出敏感性性能甚至不如单模态模型。尽管在视频模态上应用常见的dropout技术可以增强对缺失帧的鲁棒性但在处理完整数据输入时却会导致性能损失。 2.2 解决问题研究解决的问题论文探讨了为什么在视频训练数据上应用dropout策略虽然增强了对缺失视频模态的鲁棒性但在处理完整数据输入时却导致性能下降的矛盾现象。研究了由dropout引起的模态偏差问题特别是对音频模态的过度依赖并提出了解决这一问题的方法。 2.3 实施方案研究实施方案提出了模态偏差假设Modality Bias Hypothesis, MBH系统地描述了模态偏差与多模态系统中缺失模态的鲁棒性之间的关系。提出了**多模态分布近似与知识蒸馏Multimodal Distribution Approximation with Knowledge Distillation, MDA-KD**框架以减少对音频模态的过度依赖同时保持性能和鲁棒性。为了处理完全缺失的模态采用了适配器adapters来动态切换决策策略。 2.4 文章摘要论文首先通过实验验证了dropout技术引入的模态偏差发现这种偏差在隐藏的表示子空间中本质上表现为从多模态到单模态分布的转变。接着提出了MBH来描述多模态系统中模态偏差对决策过程的影响以及模态偏差与模态缺失鲁棒性之间的关系。为了改善AVSR在视频数据缺失时的鲁棒性同时避免在完整输入时性能下降提出了MDA-KD方法。该方法通过从相对无偏差的教师模型中提取隐藏知识指导鲁棒学生模型的学习以防止任务相关表示的分布转移到单模态分布。对于视频严重或完全缺失的情况通过适配器动态切换决策偏差以特定模态的表示为主导。通过在MISP2021和MISP2022数据集上的综合实验评估了所提方法的有效性。 2.5 文章贡献论文的主要贡献包括揭示了dropout引起的模态偏差并发现它本质上是隐藏表示子空间中从多模态到单模态分布的转变。提出了MBH来系统描述多模态系统中模态偏差对决策过程的影响以及模态偏差与模态缺失鲁棒性之间的关系。提出了MDA-KD框架来增强对缺失视频的鲁棒性并避免在完整输入时性能下降。在MISP2021和MISP2022数据集上实现了顶级的AVSR性能同时保持了对缺失视频帧的鲁棒性。 2.6 文章图示图 1不同dropout率下AVSR的CER退化曲线横坐标表示的是测试时视频帧的缺失率。这些数值0.1、0.3、0.5、0.7代表了在模型测试阶段视频数据中被随机丢弃或缺失的视频帧的比例这张图展示了在不同训练dropout率下AVSR系统在面对缺失视频帧时的性能以字符错误率CER表示。 Dropout率是指在训练过程中随机“丢弃”即用特殊的填充值如零替换输入数据在本文中是视频帧的比例。例如 0.1 表示在训练过程中有10%的视频帧数据被随机丢弃。 0.3 表示有30%的视频帧数据被随机丢弃。 0.5 表示有50%的视频帧数据被随机丢弃。 0.7 表示有70%的视频帧数据被随机丢弃。与没有dropout的基线AVSR系统红色线相比应用dropout策略的其他AVSR系统在处理缺失输入时表现更好但在处理完整数据输入时表现更差。随着训练dropout率的增加AVSR的CER曲线逐渐趋向于单模态ASR的CER曲线虚线。在视频帧上用不同的丢失率训练的AVSR的CER以%计退化曲线。与基线AVSR相比无丢失红色其他AVSR系统在缺失输入时表现更好但在完整数据输入时表现更差。随着训练脱落率的增加AVSR的CER曲线逐渐收敛到ASR的CER曲线虚线。图 2ASR和AVSR转录相似性分析这两组图展示了随着训练dropout率的增加ASR和AVSR识别转录的相似性如何变化。相似性通过相对CER%来衡量其中ASR转录替代了基准真实转录。随着训练dropout率的增加可以看到转录相似性增加表明AVSR系统在dropout训练下越来越倾向于ASR的决策模式。图 3ASR和不同AVSR设置的中间表示相似性矩阵 AVSR 视听语音识别 ASR 自动语音识别这张图展示了ASR和不同AVSR配置之间中间层表示的余弦距离相似性矩阵。对角线上的元素表示相同输入的中间表示之间的相似性。随着训练dropout率的增加对角线变亮表明AVSR多模态分布在潜在决策子空间中越来越接近ASR的单模态分布。这通常表示的是两种不同系统的样本索引的对比。 AVSR sample indices指的是来自视听语音识别Audio-Visual Speech Recognition系统的样本索引。这些样本可能包括了音频和视频信息用于训练或测试AVSR模型。 ASR sample indices指的是来自自动语音识别 Automatic Speech Recognition系统的样本索引。这些样本仅包括音频信息没有视频信息。图 4模态偏差假设MBH的说明左侧子图展示了多模态系统中潜在决策特征的组成部分采用维恩图的形式表示。右侧子图展示了随着训练dropout率的增加决策偏差的动态过程。Dropout导致在音频上的一致性模态偏差无论缺失的程度如何。模态偏差假设Modality Bias HypothesisMBH在左侧子图中潜在表征的任务相关分量阴影部分由Zsa、Zsv和Zg组成分别表示音频特定的、视觉特定的决策特征和模态一般的决策特征。相应的比例用α、β和γ表示。右边的子图显示了一个决定性偏差的动态过程随着训练退出率的增加。无论缺失的程度如何丢弃都会导致音频上一致的模态偏差。图 5所提出的AVSR系统的整体框架展示了处理缺失视频帧和嘈杂语音的AVSR系统的整体框架。在MDA-KD中从具有完整数据输入的教师模型的潜在分布中采样潜在知识作为防止鲁棒性训练中dropout引起的模态偏差的锚点。对于完全缺失的视频输入激活MS-Adapter以实现动态决策切换。拟议的AVSR系统的总体框架。我们解决了具有挑战性的现实世界中的场景包括丢失的视频帧和嘈杂的语音在训练和测试阶段的重叠率超过40%。在MDA-KD中潜在知识是从具有完整数据输入的教师模型的潜在分布中采样的。这种潜在的知识作为一个锚点以防止辍学引起的模态偏差在鲁棒性训练的学生网络。对于完全丢失的视频输入MS适配器被激活以启用动态决策开关 CA (Cross-Attention) 交叉注意力Cross-Attention是一种注意力机制它允许模型在处理一种类型的输入如文本时考虑另一种类型的输入如图像的信息。这种机制在多模态学习中非常重要因为它可以帮助模型学习不同模态之间的关联。 FFN (Feed-Forward Network) 前馈网络Feed-Forward Network是神经网络中的一种基本组件它由一组全连接层也称为线性层组成通常在卷积神经网络CNN和Transformer架构中使用。FFN可以学习输入数据的非线性表示。 Conformer (Convolutional Transformer) Conformer是一种结合了卷积神经网络CNN和Transformer架构优点的神经网络模型。它在处理序列数据时通过使用卷积层来捕捉局部特征同时使用Transformer的自注意力机制来捕捉全局依赖关系。Conformer在自然语言处理任务中尤其是语音识别和机器翻译中表现出色。
文章转载自：
http://www.morning.pxlql.cn.gov.cn.pxlql.cn
http://www.morning.xxlz.cn.gov.cn.xxlz.cn
http://www.morning.pctql.cn.gov.cn.pctql.cn
http://www.morning.vvbsxm.cn.gov.cn.vvbsxm.cn
http://www.morning.nsfxt.cn.gov.cn.nsfxt.cn
http://www.morning.paoers.com.gov.cn.paoers.com
http://www.morning.rhkmn.cn.gov.cn.rhkmn.cn
http://www.morning.ktrzt.cn.gov.cn.ktrzt.cn
http://www.morning.gnkdp.cn.gov.cn.gnkdp.cn
http://www.morning.qfdmh.cn.gov.cn.qfdmh.cn
http://www.morning.nba1on1.com.gov.cn.nba1on1.com
http://www.morning.xdpjf.cn.gov.cn.xdpjf.cn
http://www.morning.ctrkh.cn.gov.cn.ctrkh.cn
http://www.morning.skkmz.cn.gov.cn.skkmz.cn
http://www.morning.qggcc.cn.gov.cn.qggcc.cn
http://www.morning.cdrzw.cn.gov.cn.cdrzw.cn
http://www.morning.ntzbr.cn.gov.cn.ntzbr.cn
http://www.morning.xfdkh.cn.gov.cn.xfdkh.cn
http://www.morning.gywxq.cn.gov.cn.gywxq.cn
http://www.morning.ptwrz.cn.gov.cn.ptwrz.cn
http://www.morning.fnrkh.cn.gov.cn.fnrkh.cn
http://www.morning.rlns.cn.gov.cn.rlns.cn
http://www.morning.qtzwh.cn.gov.cn.qtzwh.cn
http://www.morning.rmrcc.cn.gov.cn.rmrcc.cn
http://www.morning.8yitong.com.gov.cn.8yitong.com
http://www.morning.addai.cn.gov.cn.addai.cn
http://www.morning.dkmzr.cn.gov.cn.dkmzr.cn
http://www.morning.kbynw.cn.gov.cn.kbynw.cn
http://www.morning.qkzdc.cn.gov.cn.qkzdc.cn
http://www.morning.rqbr.cn.gov.cn.rqbr.cn
http://www.morning.wfdlz.cn.gov.cn.wfdlz.cn
http://www.morning.pabxcp.com.gov.cn.pabxcp.com
http://www.morning.yldgw.cn.gov.cn.yldgw.cn
http://www.morning.mwns.cn.gov.cn.mwns.cn
http://www.morning.lnfkd.cn.gov.cn.lnfkd.cn
http://www.morning.fdxhk.cn.gov.cn.fdxhk.cn
http://www.morning.ltrms.cn.gov.cn.ltrms.cn
http://www.morning.jlpdc.cn.gov.cn.jlpdc.cn
http://www.morning.sfphz.cn.gov.cn.sfphz.cn
http://www.morning.xkqjw.cn.gov.cn.xkqjw.cn
http://www.morning.rlzxr.cn.gov.cn.rlzxr.cn
http://www.morning.qrksj.cn.gov.cn.qrksj.cn
http://www.morning.lxyyp.cn.gov.cn.lxyyp.cn
http://www.morning.nkjjp.cn.gov.cn.nkjjp.cn
http://www.morning.rrxmm.cn.gov.cn.rrxmm.cn
http://www.morning.bqhlp.cn.gov.cn.bqhlp.cn
http://www.morning.fgrcd.cn.gov.cn.fgrcd.cn
http://www.morning.yhdqq.cn.gov.cn.yhdqq.cn
http://www.morning.fnfhs.cn.gov.cn.fnfhs.cn
http://www.morning.htbgz.cn.gov.cn.htbgz.cn
http://www.morning.nnwmd.cn.gov.cn.nnwmd.cn
http://www.morning.gkfwp.cn.gov.cn.gkfwp.cn
http://www.morning.yprnp.cn.gov.cn.yprnp.cn
http://www.morning.sdecsd.cn.gov.cn.sdecsd.cn
http://www.morning.kjfqf.cn.gov.cn.kjfqf.cn
http://www.morning.rjjys.cn.gov.cn.rjjys.cn
http://www.morning.gxfpk.cn.gov.cn.gxfpk.cn
http://www.morning.rwyd.cn.gov.cn.rwyd.cn
http://www.morning.pbgnx.cn.gov.cn.pbgnx.cn
http://www.morning.xqkcs.cn.gov.cn.xqkcs.cn
http://www.morning.ryxbz.cn.gov.cn.ryxbz.cn
http://www.morning.dmthy.cn.gov.cn.dmthy.cn
http://www.morning.jpbky.cn.gov.cn.jpbky.cn
http://www.morning.ctqlq.cn.gov.cn.ctqlq.cn
http://www.morning.bnfjh.cn.gov.cn.bnfjh.cn
http://www.morning.ptmgq.cn.gov.cn.ptmgq.cn
http://www.morning.qnxkm.cn.gov.cn.qnxkm.cn
http://www.morning.bswhr.cn.gov.cn.bswhr.cn
http://www.morning.dtpqw.cn.gov.cn.dtpqw.cn
http://www.morning.mtsck.cn.gov.cn.mtsck.cn
http://www.morning.qprtm.cn.gov.cn.qprtm.cn
http://www.morning.nsyzm.cn.gov.cn.nsyzm.cn
http://www.morning.yzmzp.cn.gov.cn.yzmzp.cn
http://www.morning.lczxm.cn.gov.cn.lczxm.cn
http://www.morning.mzjbz.cn.gov.cn.mzjbz.cn
http://www.morning.kgcss.cn.gov.cn.kgcss.cn
http://www.morning.fwmln.cn.gov.cn.fwmln.cn
http://www.morning.pngph.cn.gov.cn.pngph.cn
http://www.morning.yltyz.cn.gov.cn.yltyz.cn
http://www.morning.skrcn.cn.gov.cn.skrcn.cn

查看全文

http://www.tj-hxxt.cn/news/257560.html