当前位置： 首页 > news >正文 重庆市设计公司网站太原网站建设质量推荐 news 2025/10/31 4:31:23 重庆市设计公司网站,太原网站建设质量推荐,丝绸之路网站建设,房管局官网app笔记整理#xff1a;田家琛#xff0c;天津大学博士#xff0c;研究方向为文本分类 链接#xff1a;https://ojs.aaai.org/index.php/AAAI/article/view/26599 动机 近年来#xff0c;随着预训练语言模型#xff08;PLMs#xff09;在情感分类领域的广泛应用#xff0c… 笔记整理田家琛天津大学博士研究方向为文本分类 链接https://ojs.aaai.org/index.php/AAAI/article/view/26599 动机 近年来随着预训练语言模型PLMs在情感分类领域的广泛应用PLMs中存在的命名实体情感偏差问题也引起了越来越多的关注。具体而言当前的PLMs基于神经上下文编码器倾向于将某些命名实体上下文中的情感信息应用到表示学习过程中使得命名实体与情感之间容易形成虚假的相关性。本文提出了一种基于自适应Gumbel攻击的情感分类器Gater在保证文本语义一致性的前提下利用对抗攻击策略缓解情感偏差问题。首先该分类器内置多个可生成Gumbel噪声的专家网络通过最小化网络输出之间的互信息来增加噪声多样性。然后在模型训练期间利用Gumel噪声攻击分类器输出根据攻击前后置信度的变化情况判断攻击是否有效。最后采用多路参数优化算法将多个专家网络参数和分类器参数进行融合使分类器对专家网络模拟的情感偏差产生免疫。实验结果表明该方法在不破坏情感分类性能的前提下有效地缓解了PLMs中存在的命名实体情感偏差问题。 亮点 Gater的亮点主要包括 (1) 提出利用Gumbel噪声缓解命名实体情感偏差。Gumbel分布作为第一类型的广义极值分布采样噪声大部分来自于分布的尾部对分类器输出的改动幅度较小有利于保护其原有的语义分布。 (2) 提出多路参数优化算法。根据专家网络的攻击效果将多个专家网络的参数融合到分类模型中有效地丰富了模型的参数更新方向。 模型简介 如图1所示在前向传播阶段Gater自适应地为原始分类器 添加 个专家网络每个专家网络包含一个攻击模块 和一个基础模块 其中 。 负责模拟有情感偏差的情况 负责模拟没有情感偏差的情况它们经过对比之后输出模拟的情感偏差用来攻击 中的情感偏差。 具体而言 和 的输入是仅包含命名实体的文本向量表示。训练每个专家网络时Gater通过最大化 输入与输出之间的互信息损失函数 保证 中的情感偏差不再变化通过最大化 输出与加入Gumbel噪声的输入之间的互信息损失函数 使 学会Gumbel攻击通过最小化 之间的互信息损失函数 保证Gumbel噪声的多样性。此外模型使用Softmax层的输出来评估采样效果。在下一轮的训练中效果不好的专家网络将被重置参数。 在反向传播阶段多路参数优化算法的目标是融合 与每个 和 的参数使 获得情感去偏的能力。例如对于 进行参数更新首先使用梯度下降算法更新 的参数并进一步融合 、 和 的参数。即 其中 指的是 在第 个训练批次时的参数。 是选择的损失函数。 是 在第 个训练批次时的平均置信度。当 μ 时表明第 个专家网络无法降低情感偏差因此分类器 的参数应该远离第 个专家网络的参数。当 μ 时表示第 个专家网络实现了情感去偏因此分类器 的参数应该与第 个专家网络的参数接近。当 μ 时表示第 个专家网络无效应该保持分类器 原有的参数更新方向。 图1 Gater总体架构图 实验 本文在七个真实数据集上进行实验它们分别是IMDb、SST-2、YELP-2、YELP-5、Amazon-2、Amazon-5和SemEval。此外本文选择的预训练模型分别是BERT、RoBERT、ALBERT和ELECTRA。 之前的研究发现目前的去偏方法可能会过度去偏导致下游任务的性能下降。实验结果表明表1Gater可以有效地避免过度去偏问题且每个PLM的分类性能都比原始版本提升了0.0到2.0。 表1 分类性能 本文使用NLTK版本的词性标记工具从每个数据集中随机选择400个命名实体然后通过情感转移测试计算这些命名实体的情感得分。得分越高情感偏差越严重。图2反映了这些实体在使用Gater前后的情感偏差变化。对于每个数据集Gater将情感偏差保持在较低的水平即这些命名实体的情感得分接近于0。相比之下在不使用Gater的情况下这些命名实体具有较高的情感得分。这说明Gater有效地减少了情感偏差。 图2 情感去偏 总结 本文提出了一种基于自适应Gumbel攻击的情感分类器Gater从对抗攻击的角度缓解了PLMs中的命名实体情感偏差。现实世界中的命名实体是复杂和多样的它们的特征和属性会随着时间和不同的环境而变化。随着PLMs在现实场景中的广泛应用Gater可以快速调整PLMs对命名实体的情感倾向性从而有效地提高情感分类系统的鲁棒性。 OpenKG OpenKG中文开放知识图谱旨在推动以中文为核心的知识图谱数据的开放、互联及众包并促进知识图谱算法、工具及平台的开源开放。 点击阅读原文进入 OpenKG 网站。 文章转载自： http://www.morning.fbbpj.cn.gov.cn.fbbpj.cn http://www.morning.yqyhr.cn.gov.cn.yqyhr.cn http://www.morning.fyzsq.cn.gov.cn.fyzsq.cn http://www.morning.wnpps.cn.gov.cn.wnpps.cn http://www.morning.kaweilu.com.gov.cn.kaweilu.com http://www.morning.bhdyr.cn.gov.cn.bhdyr.cn http://www.morning.rwnx.cn.gov.cn.rwnx.cn http://www.morning.cnyqj.cn.gov.cn.cnyqj.cn http://www.morning.rqnhf.cn.gov.cn.rqnhf.cn http://www.morning.yfcyh.cn.gov.cn.yfcyh.cn http://www.morning.pynzj.cn.gov.cn.pynzj.cn http://www.morning.qyglt.cn.gov.cn.qyglt.cn http://www.morning.qichetc.com.gov.cn.qichetc.com http://www.morning.qstjr.cn.gov.cn.qstjr.cn http://www.morning.xfmwk.cn.gov.cn.xfmwk.cn http://www.morning.mplld.cn.gov.cn.mplld.cn http://www.morning.lxfdh.cn.gov.cn.lxfdh.cn http://www.morning.xnwjt.cn.gov.cn.xnwjt.cn http://www.morning.zsrdp.cn.gov.cn.zsrdp.cn http://www.morning.yrdn.cn.gov.cn.yrdn.cn http://www.morning.nlrp.cn.gov.cn.nlrp.cn http://www.morning.smzr.cn.gov.cn.smzr.cn http://www.morning.mrxgm.cn.gov.cn.mrxgm.cn http://www.morning.pyncx.cn.gov.cn.pyncx.cn http://www.morning.bpmdh.cn.gov.cn.bpmdh.cn http://www.morning.tqxtx.cn.gov.cn.tqxtx.cn http://www.morning.lfbsd.cn.gov.cn.lfbsd.cn http://www.morning.shxmr.cn.gov.cn.shxmr.cn http://www.morning.mzskr.cn.gov.cn.mzskr.cn http://www.morning.nfyc.cn.gov.cn.nfyc.cn http://www.morning.hwljx.cn.gov.cn.hwljx.cn http://www.morning.nswcw.cn.gov.cn.nswcw.cn http://www.morning.ftmzy.cn.gov.cn.ftmzy.cn http://www.morning.csnmd.cn.gov.cn.csnmd.cn http://www.morning.wkcl.cn.gov.cn.wkcl.cn http://www.morning.mhlsx.cn.gov.cn.mhlsx.cn http://www.morning.ccsdx.cn.gov.cn.ccsdx.cn http://www.morning.ybyln.cn.gov.cn.ybyln.cn http://www.morning.llyqm.cn.gov.cn.llyqm.cn http://www.morning.lpmlx.cn.gov.cn.lpmlx.cn http://www.morning.pxmyw.cn.gov.cn.pxmyw.cn http://www.morning.wgzgr.cn.gov.cn.wgzgr.cn http://www.morning.qczpf.cn.gov.cn.qczpf.cn http://www.morning.yrhd.cn.gov.cn.yrhd.cn http://www.morning.gwmny.cn.gov.cn.gwmny.cn http://www.morning.wzwpz.cn.gov.cn.wzwpz.cn http://www.morning.tzzfy.cn.gov.cn.tzzfy.cn http://www.morning.ykwgl.cn.gov.cn.ykwgl.cn http://www.morning.rrqbm.cn.gov.cn.rrqbm.cn http://www.morning.mngh.cn.gov.cn.mngh.cn http://www.morning.kqgsn.cn.gov.cn.kqgsn.cn http://www.morning.51meihou.cn.gov.cn.51meihou.cn http://www.morning.mbdbe.cn.gov.cn.mbdbe.cn http://www.morning.stsnf.cn.gov.cn.stsnf.cn http://www.morning.ffptd.cn.gov.cn.ffptd.cn http://www.morning.xgxbr.cn.gov.cn.xgxbr.cn http://www.morning.yrflh.cn.gov.cn.yrflh.cn http://www.morning.cprbp.cn.gov.cn.cprbp.cn http://www.morning.rqhbt.cn.gov.cn.rqhbt.cn http://www.morning.mcbqq.cn.gov.cn.mcbqq.cn http://www.morning.wcghr.cn.gov.cn.wcghr.cn http://www.morning.mkfhx.cn.gov.cn.mkfhx.cn http://www.morning.yaqi6.com.gov.cn.yaqi6.com http://www.morning.gbxxh.cn.gov.cn.gbxxh.cn http://www.morning.lzzqz.cn.gov.cn.lzzqz.cn http://www.morning.qzpqp.cn.gov.cn.qzpqp.cn http://www.morning.wfpmt.cn.gov.cn.wfpmt.cn http://www.morning.ljdjn.cn.gov.cn.ljdjn.cn http://www.morning.rltw.cn.gov.cn.rltw.cn http://www.morning.cnfjs.cn.gov.cn.cnfjs.cn http://www.morning.bwrbm.cn.gov.cn.bwrbm.cn http://www.morning.mqxrx.cn.gov.cn.mqxrx.cn http://www.morning.lqgfm.cn.gov.cn.lqgfm.cn http://www.morning.wpqwk.cn.gov.cn.wpqwk.cn http://www.morning.ggnkt.cn.gov.cn.ggnkt.cn http://www.morning.qygfb.cn.gov.cn.qygfb.cn http://www.morning.jsphr.cn.gov.cn.jsphr.cn http://www.morning.tpyrn.cn.gov.cn.tpyrn.cn http://www.morning.gprzp.cn.gov.cn.gprzp.cn http://www.morning.rymb.cn.gov.cn.rymb.cn 查看全文 http://www.tj-hxxt.cn/news/264232.html 相关文章： 西安企业网站搭建wordpress上传到云 做进口产品的网站wordpress 更新服务 便宜做网站的公司哪家好广州购物网站建设 建设银行网站账号怎么注销免费个人简历模板下载免费 做网站有必要?网站建设网站源码 网站建设建站经验网站底部 图标 深圳网站建设app开发短视频营销策略 免费网站域名查询net源码的网站建设步骤 纪检部门网站举报建设综合电子商务型企业网站 软件制作是什么专业北京优化服务 单页面 网站怎么做的如何制作网页设计首页 公益事业做网站优秀高端网站建设报价 文明网网站建设站外推广6种方法 佛山网站搜索优化seo搜索引擎优化内容主要有 网站友链做内网网站教程 多个网站备案交互ui培训 网站的备案国际婚恋网站做翻译合法吗 惠州网站制作维护长沙培训网站建设 顾家家居网站是哪个公司做的网站建设有什么系统 开发网站哪家好商城app免费制作 网站的k线图怎么做西安加盟代理网站建设 德清淘宝网站建设it运维服务内容 百度搜索网站下方描述软件开发公司组织架构 网站建设企业的未来发展计划手机网站开发软件有哪些 建立企业网站多少钱影视网站源码下载 西安企业模板建站找网站开发公司 网站竞价难做优化广州广告公司有哪些 南京网站制作链接网站策划师 开奖视频网站开发小米路由器mini做网站 网站建设的总结私人做网站
