当前位置：首页 > news >正文

南宁一站网网络技术有限公司沈阳军成网站建设

news 2025/10/29 8:35:57

南宁一站网网络技术有限公司,沈阳军成网站建设,游戏加盟公司,手机在线做ppt模板下载网站有哪些模型可解释性前言导读Background1、为什么需要可解释性#xff1f;2、诞生背景3、研究现状4、常见的模型可解释性方法4.1 基于模型自身的可解释性1#xff09;Explanation Generation2#xff09;Prototype Network 4.2 基于结果的可解释性 5、应用前景6、面临挑战前言导读… 模型可解释性前言导读Background1、为什么需要可解释性2、诞生背景3、研究现状4、常见的模型可解释性方法4.1 基于模型自身的可解释性1Explanation Generation2Prototype Network 4.2 基于结果的可解释性 5、应用前景6、面临挑战前言导读无论在学术界还是工业界模型可解释性目前都还是一个相当新的领域。本文用综述的形式对模型可解释性做一个总体介绍帮助大家了解什么是模型的可解释性以及它诞生的背景是什么样的我们为什么需要模型的可解释性然后对模型可解释性领域的发展过程和现状做一个介绍包括模型可解释性领域有哪些研究工作不同的流派和它们的代表性思路最后会分享我们对这个领域的发展趋势以及应用所面临的挑战的一些思考。 Background 机器学习模型可解释性方面的研究在近两年的科研会议上成为一个相当热门的话题。随着机器学习应用越来越广泛大家不再仅仅满足于模型的效果而是希望对模型效果背后的原因有更好的理解。同时在工业界落地 AI 时构建能让用户理解的模型也变得越来越重要在医疗、金融和司法等高风险应用中这一点尤其明显。只有可被解释的机器学习模型才可能被更广泛地采纳并避免歧视性预测和对决策系统的恶意攻击。但目前模型可解释性的研究仍处于非常早期的阶段距离应用尚需时日。本文由 InfoQ 整理自阿里巴巴达摩院智能服务事业部算法专家邱天在 AICUG 线上直播公开课上的分享希望能够帮助读者更好地了解模型可解释性领域的发展现状。【原文链接】https://www.infoq.cn/article/xiytqjiic5spsp04adk9 1、为什么需要可解释性随着黑箱机器学习模型越来越多地被用于在关键环境中进行重要的预测人工智能的各个利益相关者对透明度的要求越来越高。黑盒模型的风险在于做出和使用的决策可能不合理、不合法或者无法对其行为进行详细的解释。在很多领域模型的可解释性都十分有必要。例如在精准医疗中为了支持诊断专家需要从模型中获得远比简单的二元预测结果多得多的信息。在自动驾驶汽车以及交通、安全、金融等关键领域AI 算法模型也需要是可解释的。近几年模型可解释性概念越来越火相关论文文献的数量也是这两年开始暴增。但这是否意味着我们过去一直没有可解释性呢其实并不是。 2、诞生背景最早的人工智能系统如上图右侧图a的线性模型其实是很容易解释的。因为线性模型本身涉及的权重很少而且非常直观每个权重的大小就意味着对应的特征可以对最后的结果产生多大的贡献。但是过去几年我们见证了不透明决策系统的兴起比如深度神经网络DNNs。深度学习模型如 RNN、BERT的成功源于高效的学习算法及其巨大的参数空间的结合一个参数空间可能由数百层和数百万个参数组成这使得 DNNs 被认为是复杂的黑盒模型。随着算力越来越强算法模型变得越来越复杂、体积也越来越大我们已经很难解释这些模型了虽然它的能力确实很强能够帮我们做越来越多的事情甚至在很多特定任务上表现超过人类但是我们越来越无法理解这些模型了这是一个很棘手的问题。所谓的可解释性就是希望寻求对模型工作机理的直接理解打破人工智能的黑盒子。 3、研究现状可解释人工智能技术大致可分为三大类它们有各自的算法技术栈第一类是基于数据的可解释性是我们最容易想到的一种方法也是很多论文里面经常涉及的一类技术第二类是基于模型的可解释性这类方法主要是在探讨能不能让模型本身就具有可解释性模型自身就能告诉我们为什么要这么做第三类是基于结果的可解释性思路是直接将现有的模型当作一个黑盒去看待我们自己给一些输入输出通过观察模型的行为去推断出它到底为什么会产生这样的一个结果我们自己去建模它的可解释性这种思路的好处是完全对模型无关什么模型都可以用。当前在各个顶会上讨论得更多的是后两类接下来重点介绍这两类方法的典型算法和思路。 4、常见的模型可解释性方法目前比较常见的模型可解释性方法包括可视化、消融实验Ablation study和对输入输出的静态分析等。可视化解释不仅能够帮我们调试代码发现黑盒子神经网络在做某种决策时所犯的明显错误从而帮助改进模型还可以寻找输入图片中对最终决策起至关重要的因素实现知识发现。图右是对于 Attention 的可视化也是比较经典的一个例子我们可以把 BERT、Transformer 等这些流行的自然语言处理模型一点点地拆解开看看里面的这些 Attention 到底是怎么工作的这是一个比较有意思的实现方式。 4.1 基于模型自身的可解释性模型自身的可解释性把模型本身变成一个可解释的模型它自己能说话不只是给出单纯的答案还能给出得到这个答案的理由可以让研究人员对模型本身有更多的把握。 Explanation Generation 和 Prototype Network是两种经典方法前者是让模型自己产生可解释的输出后者则是让模型的思考方式跟人类更接近。 1Explanation Generation 典型的例子是 VQA explanation即在训练模型的同时训练一个语言的解释器。我们向模型提问并给模型提供一些多模态的输入比如图像或视频模型给出输出结果的同时让模型对给出的输出结果做进一步的解释以帮助我们更好地了解模型是否真的理解了我们的意思而不是怀疑模型恰好“猜”对了答案。假设我们输入右上角的图片Question 是 What sport is pictured也就是问这个模型这张图在描述一个什么样的运动。模型需要做出回答AnswerSurfing回答这是在冲浪回答对了。这时候我们会想模型确实回答对了但是它是怎么回答对的呢它是因为看到这有一片海所以说是冲浪还是说看到背后有白云所以说是冲浪还是说真的看到这有个人站在冲浪板上它才觉得是冲浪呢对于模型推断的过程我们是有怀疑的因为我们不知道它是怎么工作的这时候就要用到模型可解释性的方法也就是 VQA explanation。 VQA explanation 要求模型不仅输出 Answer还要输出一个 Explanation比如模型给出这么一个解释 Because the man is riding a wave on a surfboard因为这个人站在冲浪板上冲浪所以这张图片上的运动是 Surfing。这跟我们自身对于这个图片的理解就是吻合的同时模型还能把具体的实体跟图像里面的像素区域做高亮显示说明它确实理解了图像中的人和冲浪板并把这些实体结合起来以及连贯整个行为之后推理出来说这个图片上的运动应该理解成 Surfing。通过应用 VQA explanation 的方法我们可以将模型变得更可靠即使模型推理错了我们也能知道为什么出错。有时候就算我们把模型一层层拆解开也还是无法很直观地了解到它为什么最后得出了这个结论。因为模型最后得出结论的方式跟人类看一个问题的思维方式其中的 Gap 太大了。就算我们真的把每个模型的模块都解析出来并可视化也不一定能够理解得很清楚。原文《Faithful Multimodal Explanation for Visual Question Answering》 2Prototype Network Prototype Network 的思路是在模型设计的时候就让模型的构造出的数据处理加工的方式和人类的思考方式相似这样它产生结果之后我们反过来去看这个模型的工作方式就能很好地理解为什么给出了这么一个结果。以《This Looks Like That: Deep Learning for Interpretable Image Recognition》这项工作为例简单解释实现过程。这篇论文的核心任务目标是对鸟类图像做分类。那么人是怎么对鸟类做分类的呢我们会有一些特定的方法论比如要看它的嘴是什么样子的爪子是什么样子的羽毛是什么样子的翅膀是什么样子的通过把这几个特征组合起来去判断这属于什么鸟类。论文提出了原型的概念把对图像的判断机制拆解为人类思维方式中的各种原子能力根据人判断的机理来分类图像。在设计模型的时候让它用跟人类思考类似的方式通过分解图像得到不同的原型部分比如先对鸟的嘴、爪子、羽毛逐一判断再通过组成这些信息最终得到正确的分类。原文《This Looks Like That: Deep Learning for Interpretable Image Recognition》 4.2 基于结果的可解释性基于结果的可解释性或者叫事后可解释性它指的是模型已经是训练好的成品了事后尝试解释为什么这个模型是这样工作的。基本思路仍然把深度模型看成是一个黑盒子不去打开它或者说不会去显式地做拆解而是通过假设和检验去观察这个模型再去推测这个模型可能是怎么工作的。通过不断地假设检验给出结论这个结论会慢慢变得越来越符合模型实际的工作方式通过不断地逼近最终给出一个合理的解释。这种做法的好处是跟模型无关适合于任意模型当然目前也存在一些缺点后面提到。方法举例代理模型的方法surrogate model在模型局部采用一种简单可解释的模型去近似原有的黑盒模型当精度足够逼近的时候就可以用代理模型来解释原黑盒模型这里我们列举两种产生代理模型的算法分别是 LIME 算法和 SHAP 算法。 LIME 算法的思路可以简化理解成尝试用一个比较容易解释的简单的模型比如线性模型去逼近、拟合原来比较复杂且不好理解的深度模型如果能产生一个跟原来的复杂模型结果近似的模型那这个简单模型的表征状态就可以用来解释原来的模型。当然 LIME 算法不会把整个模型进行线性的降维因为这样做不现实它是假设局部可线性化把一个模型做无限的拆解拆解到每个局部点再对每个点用一个局部的线性模型或简单模型进行近似一旦局部跟一个简单的线性模型之间产生了近似的拟合关系就可以用简单模型去解释这个局部局部得到解释之后整体也就可以解释了。 LIME 算法https://arxiv.org/abs/1602.04938SHAP 算法https://arxiv.org/abs/1705.07874 5、应用前景可以看到过去几年可解释性相关的论文数量呈逐年上升趋势各个领域的国际顶会都纷纷开设了可解释性的 Topic。解释 AI 模型的技术兴趣在 2018 年左右开始渗透到整个研究领域。我们认为可解释性能够更好地推动深度学习、人工智能在整个业界的应用它可以带来以下好处可信赖。可解释性能够让模型变得更加可信赖尤其是对于非技术工作人员有助于推动深度学习在金融、交通、安全等关键领域的大规模应用是人工智能在各行各业落地的重要基础。公平性。当前人工智能、深度学习大部分都依赖于大数据而大数据本身是来源于人的其中难免存在偏差bias机器对这些存在偏差的数据进行学习的时候也会把偏差学进去但这些偏差并不是我们想要的。我们希望模型本身能够抵抗这些偏差而不是单纯的去模拟数据的偏差比如在金融风控领域模型可能对于特定性别、特定地域来源、特定年龄的人的判别存在偏差。如果能够让模型本身可解释、可理解我们就能够把偏差纠正过来让它变得更公平。可转移性。我们现在经常提迁移学习Transfer Learning就是把模型从一个领域迁移到另一个领域。如果模型是个黑盒子我们不清楚它具体是怎么工作的就很难清晰地界定模型迁移的边界在哪里哪里可用、哪里不可用这些都无从知晓。如果我们能够对模型有更深的了解就可以更好地把模型模块化进而更好地对模型进行无缝的迁移迁移学习的领域运用也会更加的广阔。高效率。假设 AI 产品部署之后出现 Bug如果模型是个黑盒我们就无法知道它是如何工作的自然也不可能知道 Bug 出在哪里只能用小修小补的方式把 Bug 屏蔽掉而不能真正地解决问题。如果模型可解释我们就可以更快速地定位和修正 badcase。多样性模型可解释可以推动生成模型的广泛应用。以阿里小蜜为例它是一个会话机器人目前一些生成模型技术如括文本生成已经相当成熟了能够给我们提供一些比较好的生成结果如果我们将生成模型应用到会话机器人中可以提供比传统的检索方法更好的个性化回答服务对于会话服务的整体质量会有很好的提升。可是我们却没办法这么用为什么呢因为工业界应用对模型可靠性有一定的要求但生成模型一个比较大的问题在于它是不可控的特别是深度的生成模型我们根本无法控制输入一个问题之后它会给出一个什么样的回答可能导致实际应用中出现各种意外情况。这就需要我们对模型有更深层次的把握能够更好地理解生成模型是怎么工作的、怎么在一定程度上控制它这之后才能够让模型更好地应用起来。 6、面临挑战挑战 1算法成熟度对于两类代表性的模型可解释性 1模型自身的可解释性其本身跟模型强绑定需要根据模型和应用场景一对一地进行迭代才能够让它产生可解释性通用性非常受限修改的难度也比较大。 2基于结果的可解释性虽然能把它看成一个黑盒子但目前算法本身还存在一些问题。比如 LIME 算法因为它是一种近似它对于采样有一定依赖导致结果不稳定。不过算法本身的问题也在不断迭代改进LIME 算法是 2016 年提出来的现在 Linkedin 又提出了 xLIME 算法针对 LIME 存在的问题做了一些改进。通过工业界和学术界一步一步地探索相信这些算法会变得越来越好离大规模应用也会越来越近。 - 挑战 2算力成本挑战2跟挑战1是紧密相关的。基于结果的可解释性方法对采样有依赖结果也不太稳定那对一部分可以工作的比较好的模型我们总可以用了吧但我们发现要真正用起来还有一个问题对于目前的算法包括 LIME 也好、SHAP 也好它本身的算法复杂度还是太高。一篇 200 字段落的 MRC通过 SHAP 算法基于模特卡洛抽样也需要迭代超过 5000 次耗时数小时才能较好地拟合一个样本。假设有几万篇样本那得算到什么时候呢解决的办法一方面是优化算法降低复杂度另一方面是继续提升算力。挑战 3数据稀疏对于模型自身可解释性方法需要训练出模型的解释器这往往是一个有监督的训练过程意味着需要大量的样本和大量的标注它才能够最后给出自身的解释。但工业界现在并没有这么大量的对于可解释性的额外的数据标注如果我们用人工的方法进行海量数据标注成本非常高甚至是不可承担的。一种可能的方式是借助无监督或者半监督的方法把我们自身已经有的一些算法的数据标注运用起来让它产生可解释性这是最合理或者说最可能行得通的一种方法。
文章转载自：
http://www.morning.zcwwb.cn.gov.cn.zcwwb.cn
http://www.morning.kfysh.com.gov.cn.kfysh.com
http://www.morning.qtrlh.cn.gov.cn.qtrlh.cn
http://www.morning.tfwsk.cn.gov.cn.tfwsk.cn
http://www.morning.mhbcy.cn.gov.cn.mhbcy.cn
http://www.morning.llgpk.cn.gov.cn.llgpk.cn
http://www.morning.nkdmd.cn.gov.cn.nkdmd.cn
http://www.morning.tphrx.cn.gov.cn.tphrx.cn
http://www.morning.mnsmb.cn.gov.cn.mnsmb.cn
http://www.morning.grfhd.cn.gov.cn.grfhd.cn
http://www.morning.yrflh.cn.gov.cn.yrflh.cn
http://www.morning.xmxbm.cn.gov.cn.xmxbm.cn
http://www.morning.wnmdt.cn.gov.cn.wnmdt.cn
http://www.morning.qdlnw.cn.gov.cn.qdlnw.cn
http://www.morning.zdxss.cn.gov.cn.zdxss.cn
http://www.morning.qqbjt.cn.gov.cn.qqbjt.cn
http://www.morning.gfnsh.cn.gov.cn.gfnsh.cn
http://www.morning.qdxkn.cn.gov.cn.qdxkn.cn
http://www.morning.cpqqf.cn.gov.cn.cpqqf.cn
http://www.morning.lkxzb.cn.gov.cn.lkxzb.cn
http://www.morning.gydsg.cn.gov.cn.gydsg.cn
http://www.morning.spqbp.cn.gov.cn.spqbp.cn
http://www.morning.tgyzk.cn.gov.cn.tgyzk.cn
http://www.morning.krdmn.cn.gov.cn.krdmn.cn
http://www.morning.jgcrr.cn.gov.cn.jgcrr.cn
http://www.morning.rjnky.cn.gov.cn.rjnky.cn
http://www.morning.kwpnx.cn.gov.cn.kwpnx.cn
http://www.morning.trmpj.cn.gov.cn.trmpj.cn
http://www.morning.rsfp.cn.gov.cn.rsfp.cn
http://www.morning.zcwtl.cn.gov.cn.zcwtl.cn
http://www.morning.pxrfm.cn.gov.cn.pxrfm.cn
http://www.morning.easiuse.com.gov.cn.easiuse.com
http://www.morning.kfwqd.cn.gov.cn.kfwqd.cn
http://www.morning.ltspm.cn.gov.cn.ltspm.cn
http://www.morning.rfrxt.cn.gov.cn.rfrxt.cn
http://www.morning.wanjia-sd.com.gov.cn.wanjia-sd.com
http://www.morning.rmrcc.cn.gov.cn.rmrcc.cn
http://www.morning.qmwzr.cn.gov.cn.qmwzr.cn
http://www.morning.ntkpc.cn.gov.cn.ntkpc.cn
http://www.morning.qrlsy.cn.gov.cn.qrlsy.cn
http://www.morning.yrycb.cn.gov.cn.yrycb.cn
http://www.morning.prmbn.cn.gov.cn.prmbn.cn
http://www.morning.ktskc.cn.gov.cn.ktskc.cn
http://www.morning.lynkz.cn.gov.cn.lynkz.cn
http://www.morning.brzlp.cn.gov.cn.brzlp.cn
http://www.morning.nwpnj.cn.gov.cn.nwpnj.cn
http://www.morning.hxcrd.cn.gov.cn.hxcrd.cn
http://www.morning.yzxlkj.com.gov.cn.yzxlkj.com
http://www.morning.rnjgh.cn.gov.cn.rnjgh.cn
http://www.morning.qphdp.cn.gov.cn.qphdp.cn
http://www.morning.wqcbr.cn.gov.cn.wqcbr.cn
http://www.morning.jpgfq.cn.gov.cn.jpgfq.cn
http://www.morning.wbxrl.cn.gov.cn.wbxrl.cn
http://www.morning.nzqqd.cn.gov.cn.nzqqd.cn
http://www.morning.qmbtn.cn.gov.cn.qmbtn.cn
http://www.morning.rfpq.cn.gov.cn.rfpq.cn
http://www.morning.tqsmg.cn.gov.cn.tqsmg.cn
http://www.morning.ssrjt.cn.gov.cn.ssrjt.cn
http://www.morning.fpkpz.cn.gov.cn.fpkpz.cn
http://www.morning.xfxqj.cn.gov.cn.xfxqj.cn
http://www.morning.gwqq.cn.gov.cn.gwqq.cn
http://www.morning.swimstaracademy.cn.gov.cn.swimstaracademy.cn
http://www.morning.rnygs.cn.gov.cn.rnygs.cn
http://www.morning.rxnr.cn.gov.cn.rxnr.cn
http://www.morning.chhhq.cn.gov.cn.chhhq.cn
http://www.morning.fdrwk.cn.gov.cn.fdrwk.cn
http://www.morning.lpqgq.cn.gov.cn.lpqgq.cn
http://www.morning.wcqxj.cn.gov.cn.wcqxj.cn
http://www.morning.fllx.cn.gov.cn.fllx.cn
http://www.morning.qzglh.cn.gov.cn.qzglh.cn
http://www.morning.gkktj.cn.gov.cn.gkktj.cn
http://www.morning.mqzcn.cn.gov.cn.mqzcn.cn
http://www.morning.xqxrm.cn.gov.cn.xqxrm.cn
http://www.morning.hotlads.com.gov.cn.hotlads.com
http://www.morning.rlsd.cn.gov.cn.rlsd.cn
http://www.morning.pdxqk.cn.gov.cn.pdxqk.cn
http://www.morning.ccdyc.cn.gov.cn.ccdyc.cn
http://www.morning.rkkh.cn.gov.cn.rkkh.cn
http://www.morning.fgxws.cn.gov.cn.fgxws.cn
http://www.morning.qdxwf.cn.gov.cn.qdxwf.cn

查看全文

http://www.tj-hxxt.cn/news/259029.html