当前位置：首页 > news >正文

网站开发用px还是rem有没有免费的分销软件

news 2025/10/21 10:32:38

网站开发用px还是rem,有没有免费的分销软件,免费自建app,诚信企业品牌网站建设大语言模型#xff08;LLMs#xff09;已经在广泛的任务中展示出了令人瞩目的表现和巨大的发展潜力。然而#xff0c;由于这些模型的参数量异常庞大#xff0c;使得它们的部署变得相当具有挑战性#xff0c;这不仅需要有足够大的内存空间#xff0c;还需要有高速的内存传…大语言模型LLMs已经在广泛的任务中展示出了令人瞩目的表现和巨大的发展潜力。然而由于这些模型的参数量异常庞大使得它们的部署变得相当具有挑战性这不仅需要有足够大的内存空间还需要有高速的内存传输带宽。在这篇文章中我们提出了一种高效的方法可以使得大语言模型的部署变得更为高效。我们支持自动化的仅限权重的nbsp;INT4nbsp;量化流程并为此设计了一个特殊的、经过高度优化的大语言模型运行时环境从而加速了在nbsp;CPUnbsp;上进行大语言模型推理的过程。我们的方法在多个流行的大语言模型包括nbsp;Llama2、Llamanbsp;和nbsp;GPT-NeoXnbsp;上都展示出了广泛的适用性并且在nbsp;CPUnbsp;上实现了极高的推理效率。相关代码已经开源可在以下链接获取https://github.com/intel/intel-extension-for-transformers。 01 引言大语言模型LLMs已经在多个领域展示出了它们卓越的性能和巨大的潜力这一点在许多研究工作中都得到了证实。然而要想真正发挥出这些模型的强大能力我们需要克服一个巨大的挑战这些模型需要巨量的参数这不仅对内存空间提出了极高的要求还需要有足够高的内存传输速度。量化是一种可以减少神经网络中权重和激活函数数值精确度的技术目的是为了降低模型推断时的计算成本。目前最常用的量化方法是 INT8 量化Vanhoucke et al. [2011]、Han et al. [2015]、Jacob et al. [2018]因为它在保持较高推理性能的同时也能维持模型的准确度在一个合理的范围内。然而激活函数中的异常值问题一直存在这限制了 INT8 量化的更广泛应用。虽然已经有一些研究试图解决这个问题,但问题依旧存在。另一方面FP8 是一种新出现的数据类型虽然它引起了广泛关注但由于硬件支持的缺乏实际应用还不多。另外目前越来越多的人选择只对权重进行低精度比如 4 位量化而保持激活函数的高精度比如 16 位浮点数这样既降低了计算成本又保证了模型的准确性。在 4 位仅权重量化这一领域有许多卓越的研究成果比如 Dettmers 和他的团队、Cheng 和他的团队、Lin 和他的团队、Kim 和他的团队、Wu 和他的团队、Cheng 和他的团队等他们的工作充分证明了这种技术在大语言模型推理方面的有效性。同时开源社区也正在积极采纳这种低比特权重量化技术并提供了一些基于 CPP 且基于ggmlnbsp;库的实现例如nbsp;llama.cppnbsp;和nbsp;starcoder.cpp。这些实现主要针对 CUDA 进行了优化可能在 CPU 上无法正常运行。因此如何使大语言模型在 CPU 上的推理变得更加高效成为一个亟需解决的问题。在这篇文章里我们介绍了一种在 CPU 上高效执行大语言模型LLM推断的方法。这包括了一个自动的 INT4 量化流程和一个高效的 LLM 运行环境。我们借助了Intel Neural Compressor一个支持 INT4 量化的工具例如 GPTQ、AWQ、TEQ 和 SignRound来自动创建 INT4 模型。我们还参考了nbsp;ggmlnbsp;库的设计为 CPU 开发了一个支持所有主流指令集的张量库比如 AVX2、AVX512、AVX512_VNNI 和 AMXAdvanced Matrix Extensions。我们的测试结果显示在使用单个 4 代 Intel® Xeon® 可扩展处理器的情况下6B 到 20B 参数的 LLM 推断的平均延迟在 20ms 到 80ms 之间而且准确性仅比 FP32 基线低 1%。我们的主要贡献包括提出了一种自动的 INT4 量化流程并能生成准确性损失不到 1% 的高质量 INT4 模型。设计了一个支持通用和最新深度学习加速指令集的 CPU 张量库并利用它开发了一个高效的 LLM 推断运行环境。我们的推断解决方案应用于覆盖 3B 到 20B 参数的流行 LLM 模型并展示了每个令牌 20ms 到 80ms 的生成延迟远远快于人类平均阅读速度大约每个令牌 200ms。本文接下来的部分安排如下第 2 节介绍了包括 INT4 量化和推断在内的方法第 3 节概述了实验设置展示了准确性和性能结果并讨论了性能调优第 4 节给出了总结和未来工作的方向。 02 实践方法在本节中我们要介绍一种包含两个主要部件的方法自动的 INT4 量化流程和一个高效的 LLM 运行环境如图 1 所展示的。接下来的几节将为您详细解释这两部分。nbsp;图 1: 左边是自动 INT4 量化流程的部分右边是为高效 LLM 推理设计的简化运行环境。 2.1 自动 INT4 量化流程自动的 INT4 量化流程是基于 Intel Neural Compressor这是一个流行的用于深度学习框架的量化工具进行开发的。这个工具已经支持了一系列主流的 INT4 量化方法例如 GPTQ、SignRound、AWQ、TEQ 和 RTN (最近舍入)。我们的自动量化流程允许在不同的量化方法、不同的粒度按通道或按组和不同的组大小从 32 到 1024上进行调整。每种方法都会生成一个 INT4 模型并在流程中对其进行评估。一旦 INT4 模型达到了准确性的目标它就会被送到 LLM 运行环境中进行性能评估。 2.2 高效的 LLM 运行环境 LLM 运行环境的目标是在 CPU 上高效地推理 LLM。图 2 描述了 LLM 运行环境中的关键组件其中绿色部分CPU 张量库和 LLM 优化专门用于 LLM 推理蓝色部分内存管理、线程调度、算子优化和融合是通用运行环境所需的。CPU 张量库和 LLM 优化的详细信息将在下文中进一步阐述而通用组件则因篇幅限制在此省略。值得一提的是这个设计非常灵活已经包含了硬件抽象层目前仅支持 CPU为将来可能的扩展留出了空间虽然如何支持其他硬件类型并不在本文的讨论范围之内。图 2: LLM 运行环境中的关键组件。为 CPU 设计的张量库我们基于cutlassnbsp;的模板设计灵感打造了一款专为 CPU 设计的张量库用于处理线性代数的子程序。这个库特别支持 x86 CPU 上的 INT4 核心操作详细信息可参见表 1点击链接查看。值得一提的是AMX 技术在最新的 Intel Xeon 可扩展处理器上得到了支持而 VNNI 技术则在 Intel 和 AMD 的 CPU 上都能使用。表 1由 CPU 张量库提供支持的操作类型一览表包括输入/输出的数据类型计算过程中的数据类型以及使用的指令集架构ISA。这个库还支持输入数据的动态量化并可以根据批量大小或者输入通道进行分组同时在权重量化方面也支持对称和非对称两种方案。对大语言模型LLM的优化最近开发的大语言模型LLM通常都是基于 Transformer 架构的仅解码器模型可以参考 Vaswani 等人在 2017 年的工作点击链接查看原文。在这些模型中由于下一个词的生成特性KV 缓存的性能变得尤为关键。我们在图 3点击链接查看中详细展示了这方面的优化工作。图 3KV 缓存的优化展示。左图 (a) 展示了传统的 KV 缓存方式每生成一个新词就需要为所有词重新分配内存这个例子中一共有 5 个词右图 (b) 则展示了我们优化后的 KV 缓存通过预先分配好 KV 内存并且每次只更新新生成的词从而提高了效率。 03 结果展示 3.1 实验布局为了全面展示效果我们精选了一系列极受欢迎的大语言模型LLMs这些模型涵盖了各种架构参数规模从 7B 到 20B 不等。我们选用了lm-evaluation-harnessnbsp;提供的开放数据集评估了 FP32 和 INT4 两种模型的准确率其中包括了来自不同研究的数据集如 Paperno 等人 2016 年提出的 lambadaZellers 等人 2019 年的 hellaswagSakaguchi 等人 2021 年的 winogrande以及 Bisk 等人 2020 年的 piqa当然还有nbsp;wikitextnbsp;数据集。为了检验性能我们在第四代 Intel® Xeon® 可扩展处理器上测量了生成下一个 token 所需的时间这些处理器可在像nbsp;AWSnbsp;这样的公共云服务上找到。 3.2 准确率评估我们在上述数据集上进行了准确率评估并在表格2nbsp;中展示了平均准确率结果。从表格中可以看出INT4 模型的准确率与 FP32 模型相差无几相对于 FP32 基准其准确率损失在 1% 之内。表 2INT4 和 FP32 模型准确率对比。INT4 模型有两种设置组大小分别为 32 和 128。 3.3 性能评估我们利用 LLM 运行时和广受欢迎的 ggml 开源实现对生成下一个词的速度进行了测试。表格3nbsp;显示了在输入和输出词各为 32 个的情况下的处理时间。需要注意的是在测试过程中基于 ggml 的方法只支持将 32 个词作为一个处理组。表 3使用 LLM 运行时和基于 ggml 的方法进行的 INT4 性能测试。在组大小为 128 的情况下LLM 运行时的性能最多可以比基于 ggml 的方法高出 1.6 倍在组大小为 32 的情况下可以高出 1.3 倍。 3.4 思考与讨论虽然我们证明了 LLM 运行时相对于基于 ggml 的方法有明显的性能优势但仍有提升空间比如通过调整 LLM 运行时的线程调度和 CPU 张量库的阻塞策略来进一步优化性能。 04 总结与展望我们提出了一种端到端的nbsp;INT4 LLM 推理方案包括自动的 INT4 模型量化和高效的 LLM 运行时。我们在多个流行的 LLM 模型上验证了这一方案的通用性并在 CPU 上展示了其相较于开源解决方案的性能优势。展望未来我们计划对 CPU 张量库进行进一步的优化并扩展 Hugging Face transformer API 以支持 INT4 LLM 推理为开源社区贡献我们的力量。此外鉴于 CPU 的普及我们还计划将这一方案应用到个人电脑上以满足不断增长的人工智能内容生成需求并推动个人电脑上的生成式 AI 发展。
文章转载自：
http://www.morning.ygrdb.cn.gov.cn.ygrdb.cn
http://www.morning.ghxzd.cn.gov.cn.ghxzd.cn
http://www.morning.lmnbp.cn.gov.cn.lmnbp.cn
http://www.morning.mxhys.cn.gov.cn.mxhys.cn
http://www.morning.bxsgl.cn.gov.cn.bxsgl.cn
http://www.morning.qhnmj.cn.gov.cn.qhnmj.cn
http://www.morning.fkflc.cn.gov.cn.fkflc.cn
http://www.morning.ysqb.cn.gov.cn.ysqb.cn
http://www.morning.mqpdl.cn.gov.cn.mqpdl.cn
http://www.morning.mzzqs.cn.gov.cn.mzzqs.cn
http://www.morning.qtzwh.cn.gov.cn.qtzwh.cn
http://www.morning.hcwjls.com.gov.cn.hcwjls.com
http://www.morning.dbdmr.cn.gov.cn.dbdmr.cn
http://www.morning.tmsxn.cn.gov.cn.tmsxn.cn
http://www.morning.dschz.cn.gov.cn.dschz.cn
http://www.morning.llxqj.cn.gov.cn.llxqj.cn
http://www.morning.iznek.com.gov.cn.iznek.com
http://www.morning.ccjhr.cn.gov.cn.ccjhr.cn
http://www.morning.cmrfl.cn.gov.cn.cmrfl.cn
http://www.morning.xxwfq.cn.gov.cn.xxwfq.cn
http://www.morning.wmmjw.cn.gov.cn.wmmjw.cn
http://www.morning.nkjkh.cn.gov.cn.nkjkh.cn
http://www.morning.ljxxl.cn.gov.cn.ljxxl.cn
http://www.morning.mxlmn.cn.gov.cn.mxlmn.cn
http://www.morning.rmppf.cn.gov.cn.rmppf.cn
http://www.morning.tsnq.cn.gov.cn.tsnq.cn
http://www.morning.dhmll.cn.gov.cn.dhmll.cn
http://www.morning.tnbsh.cn.gov.cn.tnbsh.cn
http://www.morning.cttti.com.gov.cn.cttti.com
http://www.morning.rzbgn.cn.gov.cn.rzbgn.cn
http://www.morning.qjmnl.cn.gov.cn.qjmnl.cn
http://www.morning.dfckx.cn.gov.cn.dfckx.cn
http://www.morning.glxmf.cn.gov.cn.glxmf.cn
http://www.morning.ptlwt.cn.gov.cn.ptlwt.cn
http://www.morning.qmbtn.cn.gov.cn.qmbtn.cn
http://www.morning.nxcgp.cn.gov.cn.nxcgp.cn
http://www.morning.snygg.cn.gov.cn.snygg.cn
http://www.morning.ujianji.com.gov.cn.ujianji.com
http://www.morning.sskkf.cn.gov.cn.sskkf.cn
http://www.morning.srndk.cn.gov.cn.srndk.cn
http://www.morning.zdsqb.cn.gov.cn.zdsqb.cn
http://www.morning.zrkws.cn.gov.cn.zrkws.cn
http://www.morning.qqbw.cn.gov.cn.qqbw.cn
http://www.morning.kjkml.cn.gov.cn.kjkml.cn
http://www.morning.pmhln.cn.gov.cn.pmhln.cn
http://www.morning.kzcfr.cn.gov.cn.kzcfr.cn
http://www.morning.wbns.cn.gov.cn.wbns.cn
http://www.morning.pmjhm.cn.gov.cn.pmjhm.cn
http://www.morning.sjpbh.cn.gov.cn.sjpbh.cn
http://www.morning.dmsxd.cn.gov.cn.dmsxd.cn
http://www.morning.qbgdy.cn.gov.cn.qbgdy.cn
http://www.morning.pmtky.cn.gov.cn.pmtky.cn
http://www.morning.qkxt.cn.gov.cn.qkxt.cn
http://www.morning.smry.cn.gov.cn.smry.cn
http://www.morning.rtbj.cn.gov.cn.rtbj.cn
http://www.morning.mkfr.cn.gov.cn.mkfr.cn
http://www.morning.hrhwn.cn.gov.cn.hrhwn.cn
http://www.morning.pdmc.cn.gov.cn.pdmc.cn
http://www.morning.xfdkh.cn.gov.cn.xfdkh.cn
http://www.morning.dfndz.cn.gov.cn.dfndz.cn
http://www.morning.cwqrj.cn.gov.cn.cwqrj.cn
http://www.morning.nmfml.cn.gov.cn.nmfml.cn
http://www.morning.mnwsy.cn.gov.cn.mnwsy.cn
http://www.morning.kndyz.cn.gov.cn.kndyz.cn
http://www.morning.qbmjf.cn.gov.cn.qbmjf.cn
http://www.morning.mfsjn.cn.gov.cn.mfsjn.cn
http://www.morning.tlrxt.cn.gov.cn.tlrxt.cn
http://www.morning.wgrm.cn.gov.cn.wgrm.cn
http://www.morning.wyjpt.cn.gov.cn.wyjpt.cn
http://www.morning.wwnb.cn.gov.cn.wwnb.cn
http://www.morning.ltksw.cn.gov.cn.ltksw.cn
http://www.morning.mrqwy.cn.gov.cn.mrqwy.cn
http://www.morning.wxccm.cn.gov.cn.wxccm.cn
http://www.morning.lqlhw.cn.gov.cn.lqlhw.cn
http://www.morning.ygflz.cn.gov.cn.ygflz.cn
http://www.morning.zhengdaotang.cn.gov.cn.zhengdaotang.cn
http://www.morning.qnxkm.cn.gov.cn.qnxkm.cn
http://www.morning.xknsn.cn.gov.cn.xknsn.cn
http://www.morning.pqjlp.cn.gov.cn.pqjlp.cn
http://www.morning.gqwpl.cn.gov.cn.gqwpl.cn

查看全文

http://www.tj-hxxt.cn/news/236604.html