当前位置：首页 > news >正文

装饰公司网站源码wordpress 调用用户头像

news 2025/10/23 0:08:10

装饰公司网站源码,wordpress 调用用户头像,惠州网站建设报价,高端模板建站报价第五部分#xff1a;DNN加速器中的软错误本部分回顾和分析了有关人工神经网络#xff08;ANN#xff09;可靠性的研究。特别是关注通过DNN加速器解决DNN可靠性的研究#xff0c;从软错误的角度进行探讨。许多前期工作声称ANN本身对故障具有固有的容错能力。然而#xff…第五部分DNN加速器中的软错误本部分回顾和分析了有关人工神经网络ANN可靠性的研究。特别是关注通过DNN加速器解决DNN可靠性的研究从软错误的角度进行探讨。许多前期工作声称ANN本身对故障具有固有的容错能力。然而在硬件加速器层面单事件翻转SEU和单事件瞬变SET等错误可能发生在执行硬件中削弱DNN的固有容错能力。因此加速器比其他电子设备更容易受到瞬态故障的影响因为其并行性会将单个故障传播到多个输出元素。 5.1 GPU 研究人员在提高GPU的可靠性方面做了很多努力。然而尽管以前的工作关注了GPU在高性能计算HPC应用中的可靠性但却忽视了DNN模型的可靠性。DNN算法在计算特性上与HPC应用有显著不同例如训练阶段的非结构化数据和处理激活和可学习权重的大量内存。此外由于ANN算法预测的是特定百分比的准确性DNN本身并非完全准确。因此先前的可靠性研究不能扩展到高级DNN案例中。以下是一些代表性研究及其主要发现 Santos等人评估了著名的实时目标检测系统“YOLO”的可靠性重点利用GEMM通用矩阵乘法作为主要指标评估系统的韧性。研究考虑了三种不同的GPU架构提出了一种基于算法的容错策略ABFT来检测和缓解这些错误从而提高DNN的可靠性。主要发现不同GPU的晶体管布局对软错误率的影响不同GPU之间的架构差异对错误传播过程有不同影响。结论DNN的可靠性依赖于具体的加速器不能将特定加速器的情况推广到同类的所有加速器。 Lunardi等人研究了在GPU中使用ECC错误纠正码的有效性发现ECC虽然是掩盖软错误影响的有效解决方案但某些内存资源如管道和队列中的触发器并未受到ECC保护。主要发现YOLO和GEMM由于计算密集型数据处理ECC的保护效果较差采用FinFET技术比启用ECC更有效地减少SDC静默数据损坏率。 Arechiga等人研究了DNN架构在其参数如位翻转受到干扰时的稳健性评估了三种基于CNN的模型VGG16、ResNet50和Inception V3。主要发现即使只有极小比例的参数受到影响也会导致显著的性能下降VGG16在随机位翻转中表现出较低的可靠性因为它缺乏批量归一化和快捷连接这些技术有助于增强模型的稳健性。 Santos等人分析了GPU架构中的辐射引发错误如何影响CNN模型的可靠性研究表明GPU中的单个故障倾向于传播到多个活跃线程显著降低CNN的可靠性。主要发现通过设计特殊的Max-pooling层来替代CNN的常规Max-pooling层可以在运行时检测错误显著提高可靠性ECC显著减少了SDC的数量但对关键错误的影响较小。作者研究了CNN模型在NVIDIA GPU上实现时软错误的影响特别是VGG-16、AlexNet和ResNet-18的错误韧性。主要发现19.7%的注入故障导致了错误通过分析错误依赖性我们发现RF模式下的错误生成DUE比SDC错误多而IOA和IOV模式下的错误倾向于生成更多的SDC错误硬化VGG-16的单个内核Im2col显著提高了模型的韧性将Faulty SDC的率从19.7%降至约0.4%。 Santos等人研究了在不同浮点精度下执行基准测试时GPU的可靠性发现降低精度如从双精度到单精度到半精度可以显著提高CNN模型的可靠性。主要发现检测错误比分类错误更少依赖数据格式因为检测框的坐标表示为整数值降低精度格式显著提高了CNN模型的可靠性因为较低的精度需要较少的内存资源从而提高了模型的性能。 5.2 ASIC专用集成电路这一部分回顾并介绍了在DNN模型实现过程中评估ASIC加速器韧性的研究。每项研究可能会考虑DNN模型/加速器的各种元素。因此表5和表6列出了这一类别的代表性工作以及每项工作中考虑的组件和指标。代表性研究和主要发现 Li等人分析和评估了运行在专用ASIC加速器Eyeriss上的DNN模型的容错特性。研究了四种基于CNN的模型AlexNet、CaffeNet、ConvNet和NiN。这项研究详细诊断了错误从加速器级别传播到DNN模型级别的方式。主要发现 DNN的错误韧性取决于多个因素包括网络拓扑、用于表示的数据格式如FxP和FP、DNN加速器数据流中的数据重用以及DNN网络中的层数和位置。使用相同数据格式的NiN、AlexNet和CaffeNet模型的SDC错误率大致相同而ConvNet的错误率非常高。这是因为ImageNet数据集有1000个类而CIFAR数据集只有10个类错误更容易被传播到前五个元素中。提出两种错误保护策略基于症状的错误检测器SED用于检测内存系统中的SDC错误平均精度为90.21%平均召回率为92.5%。选择性锁存加固SLH用于检测和纠正数据路径中的SDC错误。 Pandey等人研究了基于TPU加速器的错误韧性特别是评估TPU近阈值操作引起的定时错误。这项研究最初提出了一种称为GreenTPU的设计范式主要目的是限制TPU的能耗。主要发现通过预测激活序列模式可以防止同一序列中的其他错误。采用Razor触发器检测每个MAC单元中的定时错误当任何行中的定时错误发生时这个单元记录导致错误的输入模式并增加后续MAC单元的供电电压以阻止未来的定时错误。 Jiao等人评估了ASIC类加速器中处理单元的软错误对DNN模型的影响。软错误是由温度和动态电压变化引起的时间错误。评估了三层全连接MLP和LeNet-5CNN架构。主要发现对于MLP和CNNAdder中的错误对模型精度的影响大于Multiplier中的错误。随着错误率的增加精度急剧下降。CNN比MLP对错误更敏感因为CNN有更多的算术计算。 Choi等人引入了基于DNN过滤器和权重灵敏度差异的错误韧性技术使用一阶泰勒展开来分析灵敏度。主要发现通过将高灵敏度权重的计算映射到更可靠的MAC单元可以显著提高DNN模型的分类精度。 Lee等人广泛研究了实现于CMOS数字电路上的DNN的容错性特别是分析了固定点格式的数据表示。主要发现通过“权重掉落”技术随机断开权重连接提高DNN对故障的容忍度特别是在错误率低于10%的情况下预测精度只会略有下降。 Zhang等人研究了基于时间错误电压缩放的软错误传播提出了一种称为“时间错误丢弃TE-drop”的新技术。主要发现 TE-drop通过为每个MAC单元提供“Razor触发器”来检测这些错误并在不重新执行错误MAC操作的情况下屏蔽错误从而提高了模型的可靠性。 FPGA和Others部分略去六、讨论 6.1 各类别中的要点 GPU 类别晶体管布局不同GPU的晶体管布局有不同的错误率。因此各种GPU微架构如Maxwell、Volta和Turing影响错误从一个层次传播到另一个层次直到它到达输出。ECC 和 ABFT虽然ECC已被证明是用于各种内存元素的非常有效的保护技术但ABFT策略可以通过软件解决方案在GPU中更好地强化DNN。这是因为大多数DNN操作在GPU中都依赖于矩阵乘法这是ABFT的基本任务。 ASIC 类别灵活性尽管ASIC逐渐发展为更小的结构、低功耗和高性能但代价是不灵活性。从可靠性角度来看不同于GPUECC策略不能直接应用于ASIC的缓冲区因为矩阵乘法和卷积更适合使用没有本地内存的矩阵阵列来实现。因此当提出可靠性解决方案时可能需要修改底层DNN架构。此外由于Google的TPU目前是这一类别中唯一突出的加速器基准测试问题对于设计师来说是一个不小的挑战。为什么ECC不能直接应用于ASIC的缓冲区对于ASIC专用集成电路尤其是专门用于DNN加速的ASIC如TPU、Eyeriss其设计和架构与GPU有很大不同。 1. 矩阵乘法和卷积操作的实现方式在DNN计算中矩阵乘法和卷积是非常重要的操作。这些操作通常通过矩阵阵列systolic array来实现。矩阵阵列是一种高度并行的硬件结构可以高效地执行矩阵乘法和卷积操作。矩阵阵列的特点高度并行矩阵阵列由许多处理单元组成这些单元可以同时进行计算。流水线操作数据从一个处理单元传递到下一个像流水线一样直到计算完成。没有本地内存每个处理单元通常没有独立的本地存储而是通过直接的数据传递实现高效计算。 2. 没有本地内存的影响因为矩阵阵列通常没有独立的本地存储空间如缓存或寄存器文件所以ECC无法直接应用于这些处理单元之间的数据传递。没有本地存储在矩阵阵列中数据在处理单元之间直接传递而不是存储在本地内存中。这意味着ECC无法在数据传递过程中进行错误检测和纠正。实时性要求矩阵阵列需要高效的实时计算增加ECC会引入额外的延迟和复杂性不利于实现高效的DNN计算。 FPGA 类别灵活性和重配置与其他加速器相比FPGA的灵活性和重配置功能使其更容易评估DNN的韧性。大多数FPGA的DNN加速器设计仅针对一种数据流。例如某些加速器仅针对CNN模型。因此很难以相同的效率将DNN的各种层映射到这些加速器上。SRAM基FPGASRAM基FPGA是最常用的一种类型。当遇到故障时例如粒子撞击配置位可能导致LUT、BRAM或路由连接的配置发生变化。为解决这一类别中的瞬态错误影响通常采用硬件冗余解决方案。 6.2 类别比较 DNN加速器之间的架构差异使得全面比较成为一项不公平且具有挑战性的任务。然而可以突出表明每个类别在软错误可靠性方面的优缺点。本文比较了两种常用的DNN加速器即GPU和FPGA作为首次尝试回答“哪种加速器在面对瞬态故障时更可靠”的问题。目的是展示当相同模型在不同加速器中遇到瞬态故障时其韧性可能有不同的表现。为此选择了一种特定的DNN架构作为基准。选择CNN架构因为它已在两种类别中执行并且每种类别的可靠性研究已被分析。 6.2.1 硬件资源在GPU中主流CNN严重依赖于密集的浮点矩阵乘法即GEMM。大约76%的GPU操作用于CNN模型与GEMM相关的操作。GPU的硬件资源包括寄存器文件、缓存、SM、调度器等都是为了执行这些操作。在FPGA中主流CNN依赖于LUT、FF、Carry逻辑、I/O块和DSP单元来进行MAC操作并使用块RAM作为内存元素。此外配置位用于功能和路由故障会被注入其中。 6.2.2 浮点FxP vs. 定点FP FPGA比GPU更倾向于使用定点FxP格式而非浮点FP格式。FP的范围比FxP格式更广因此其指数中的故障会导致值的显著变化。因此对于相同长度即位数FP比FxP更易受到影响。实验表明通过降低精度例如从双精度到单精度再到半精度硬件资源利用率降低从而减少了暴露于辐射的面积因此FIT率也降低。然而较低精度会增加软错误的影响因此FPGA更易受到关键错误的影响。 6.2.3 错误传播行为在CNN计算中数据从输入层传播到中间隐藏层再到输出层。一旦发生错误它也会遵循相同的规则传播。GPU中的全连接层FC层倾向于传播SDC错误但本身不会产生SDC错误。这是因为FC层具有高度并行冗余的连接意味着神经元排列成矢量而不是矩阵。因此数据重用性比卷积层少。在FPGA中FC层比卷积和池化层更容易产生SDC错误。FPGA是可编程加速器可以具有空间和时间架构。此外FPGA的设计由存储在配置内存中的位流确定。因此FC层的密度越高其易感性越高。 6.2.4 缓解技术在GPU中尽管ECC是一种硬件解决方案用于内存元素但最常见的提高GPU应用可靠性的方式是软件解决方案用于保护内存或逻辑资源。这是因为GPU的预设计架构阻止研究人员访问低级布局RTL。提出的软件技术包括程序模块复制如DMR和TMR、ABFT等。然而文献中没有提供用于训练阶段的缓解技术所有提出的方法仅用于推理阶段。在FPGA中缓解技术通常是硬件解决方案使用硬件描述语言HDL表示的RTL。现有的硬件策略是基于冗余的解决方案即构建与原始模块相同的冗余硬件模块。这种冗余可以是比较复制DWC或TMR。与GPU不同FPGA案例中提出了一些解决方案特别是用于训练阶段的如容错训练。综上所述要决定哪种加速器更具韧性需要综合考虑上述四个因素因为它严格依赖于底层架构。七、未来的挑战与方向未来深度学习的主要挑战之一是其算法在易受故障影响的加速器上实现时的可靠性问题。因此DNN在高保证应用中的适用性受到来自DNN加速器上软错误引发的可靠性问题的限制。其他DNN架构现代定制的深度学习系统由混合DNN组成以实现现实生活中的认知任务。换句话说同一系统中可能包含多种DNN架构。例如Parana架构包含CNN、MLP和其他两种架构。虽然Yin等人在设计过程中提出了一种仅解决DRAM热问题的技术但尚未评估这种复杂系统的错误韧性。因此现有技术无法简单地评估这种加速器的处理和控制元素的可靠性问题。因此需要新的评估和缓解技术这些技术能够顺利适应这些混合架构。 DNN错误韧性评估工具许多回顾的研究报告了用于评估DNN组件错误韧性的故障注入器或DNN框架较慢。因此必须优化这些工具的评估时间以更真实地模拟可靠性影响。这些工具对于研究DNN加速器/算法在可靠性问题方面的独特特性非常有用。这可能是一个对研究社区有价值的研究方向。领域的快速发展正如我们的回顾所揭示的那样AI模型的演变正在进行中。因此用于加速这些计算密集型模型的硬件的可用性在设计层面是一个显著问题。因此全部注意力都集中在AI加速器的吞吐量优化上而可靠性问题却被大大忽视。因此可靠性研究人员应填补这一空白为每个类别即加速器提供有效的解决方案。评估不同的DNN阶段大多数工作都评估了DNN在推理阶段的可靠性。相反只有少数研究研究了训练阶段。此外训练有两种类型在线训练在每个训练数据点后更新参数和离线训练在整个训练数据集后一次性更新参数。研究人员可能需要确定这两种类型的训练是否在可靠性方面留下不同的影响。数据集的大小正如其有助于忽略小噪声一样影响DNN韧性的重要因素之一是用于训练模型的数据集。因此使用更多的训练数据来训练模型会提高其准确性。然而大多数文献中的可靠性研究都研究了使用较小数据集如CIFAR-10和MNIST训练的DNN的可靠性特别是FPGA和其他类别。因此研究在更大基准数据集如ImageNet上训练的DNN的可靠性可能会产生有益的影响。
文章转载自：
http://www.morning.pcbfl.cn.gov.cn.pcbfl.cn
http://www.morning.ailvturv.com.gov.cn.ailvturv.com
http://www.morning.nktgj.cn.gov.cn.nktgj.cn
http://www.morning.ghphp.cn.gov.cn.ghphp.cn
http://www.morning.frcxx.cn.gov.cn.frcxx.cn
http://www.morning.hslgq.cn.gov.cn.hslgq.cn
http://www.morning.smmby.cn.gov.cn.smmby.cn
http://www.morning.hcxhz.cn.gov.cn.hcxhz.cn
http://www.morning.fjptn.cn.gov.cn.fjptn.cn
http://www.morning.dpbgw.cn.gov.cn.dpbgw.cn
http://www.morning.pzrrq.cn.gov.cn.pzrrq.cn
http://www.morning.zqdzg.cn.gov.cn.zqdzg.cn
http://www.morning.rkmhp.cn.gov.cn.rkmhp.cn
http://www.morning.wpcfh.cn.gov.cn.wpcfh.cn
http://www.morning.fgxnb.cn.gov.cn.fgxnb.cn
http://www.morning.snnb.cn.gov.cn.snnb.cn
http://www.morning.nkqxb.cn.gov.cn.nkqxb.cn
http://www.morning.lsfrc.cn.gov.cn.lsfrc.cn
http://www.morning.kdnbf.cn.gov.cn.kdnbf.cn
http://www.morning.xfdkh.cn.gov.cn.xfdkh.cn
http://www.morning.gbrps.cn.gov.cn.gbrps.cn
http://www.morning.pzpj.cn.gov.cn.pzpj.cn
http://www.morning.hmnhp.cn.gov.cn.hmnhp.cn
http://www.morning.rtkgc.cn.gov.cn.rtkgc.cn
http://www.morning.ssmhn.cn.gov.cn.ssmhn.cn
http://www.morning.pznnt.cn.gov.cn.pznnt.cn
http://www.morning.rbbzn.cn.gov.cn.rbbzn.cn
http://www.morning.ckntb.cn.gov.cn.ckntb.cn
http://www.morning.frnjm.cn.gov.cn.frnjm.cn
http://www.morning.ttcmdsg.cn.gov.cn.ttcmdsg.cn
http://www.morning.qnhpq.cn.gov.cn.qnhpq.cn
http://www.morning.tjndb.cn.gov.cn.tjndb.cn
http://www.morning.sfdky.cn.gov.cn.sfdky.cn
http://www.morning.qjbxt.cn.gov.cn.qjbxt.cn
http://www.morning.xkmrr.cn.gov.cn.xkmrr.cn
http://www.morning.xhsxj.cn.gov.cn.xhsxj.cn
http://www.morning.wrysm.cn.gov.cn.wrysm.cn
http://www.morning.rknhd.cn.gov.cn.rknhd.cn
http://www.morning.nqmdc.cn.gov.cn.nqmdc.cn
http://www.morning.fbqr.cn.gov.cn.fbqr.cn
http://www.morning.glcgy.cn.gov.cn.glcgy.cn
http://www.morning.yhyqg.cn.gov.cn.yhyqg.cn
http://www.morning.wdply.cn.gov.cn.wdply.cn
http://www.morning.rmyqj.cn.gov.cn.rmyqj.cn
http://www.morning.bloao.com.gov.cn.bloao.com
http://www.morning.cknsx.cn.gov.cn.cknsx.cn
http://www.morning.hrjrt.cn.gov.cn.hrjrt.cn
http://www.morning.rlwcs.cn.gov.cn.rlwcs.cn
http://www.morning.llxns.cn.gov.cn.llxns.cn
http://www.morning.lrprj.cn.gov.cn.lrprj.cn
http://www.morning.bfmq.cn.gov.cn.bfmq.cn
http://www.morning.wkrkb.cn.gov.cn.wkrkb.cn
http://www.morning.paxkhqq.cn.gov.cn.paxkhqq.cn
http://www.morning.zqmdn.cn.gov.cn.zqmdn.cn
http://www.morning.mwlxk.cn.gov.cn.mwlxk.cn
http://www.morning.hsksm.cn.gov.cn.hsksm.cn
http://www.morning.bkryb.cn.gov.cn.bkryb.cn
http://www.morning.spsqr.cn.gov.cn.spsqr.cn
http://www.morning.fmqw.cn.gov.cn.fmqw.cn
http://www.morning.frsxt.cn.gov.cn.frsxt.cn
http://www.morning.benqc.com.gov.cn.benqc.com
http://www.morning.wfpmt.cn.gov.cn.wfpmt.cn
http://www.morning.hbtarq.com.gov.cn.hbtarq.com
http://www.morning.pswzc.cn.gov.cn.pswzc.cn
http://www.morning.gbqgr.cn.gov.cn.gbqgr.cn
http://www.morning.dtmjn.cn.gov.cn.dtmjn.cn
http://www.morning.bsgfl.cn.gov.cn.bsgfl.cn
http://www.morning.kgqpx.cn.gov.cn.kgqpx.cn
http://www.morning.qbksx.cn.gov.cn.qbksx.cn
http://www.morning.btcgq.cn.gov.cn.btcgq.cn
http://www.morning.slfmp.cn.gov.cn.slfmp.cn
http://www.morning.fnjrh.cn.gov.cn.fnjrh.cn
http://www.morning.rqjl.cn.gov.cn.rqjl.cn
http://www.morning.zqmdn.cn.gov.cn.zqmdn.cn
http://www.morning.rkdzm.cn.gov.cn.rkdzm.cn
http://www.morning.ftlgy.cn.gov.cn.ftlgy.cn
http://www.morning.pmftz.cn.gov.cn.pmftz.cn
http://www.morning.thrtt.cn.gov.cn.thrtt.cn
http://www.morning.tjmfz.cn.gov.cn.tjmfz.cn
http://www.morning.ynrzf.cn.gov.cn.ynrzf.cn

查看全文

http://www.tj-hxxt.cn/news/241041.html