当前位置： 首页 > news >正文 深圳网站建设V芯ee8888ewordpress 页面设置 news 2025/10/28 22:33:19 深圳网站建设V芯ee8888e,wordpress 页面设置,深度网创,网站备案域名用二级域名一、LLM大语言模型的特点 二、大语言模型在ASR任务中的应用 浅度融合 浅层融合指的是LLM本身并没有和音频信息进行直接计算。其仅对ASR模型输出的文本结果进行重打分或者质量评估。 深度融合 LLM与ASR模型进行深度结合#xff0c;统一语音和文本的编码空间或者直接利用ASR…一、LLM大语言模型的特点 二、大语言模型在ASR任务中的应用 浅度融合 浅层融合指的是LLM本身并没有和音频信息进行直接计算。其仅对ASR模型输出的文本结果进行重打分或者质量评估。 深度融合 LLM与ASR模型进行深度结合统一语音和文本的编码空间或者直接利用ASR编码器的隐状态参与计算利用大语言模型的能力得到更好的解码结果。 三、浅度融合 1、Large-scale Language Model Rescoring on Long-Form Data 利用能力更加强大的LLM为ASR模型的推理结果进行质量评分 2、Prompting Large Language Models For Zero-Shot Domain Adaptation in Speech Recognition 利用能力更加强大的LLM为语言模型的输出进行重打分 四、深度融合 1、Prompting Large Language Models For Zero-Shot Domain Adaptation in Speech Recognition 使用语音编码器编码和提示文本的信息输入到大语言模型中预测下一个token 编码器使用HuBERT处理语音序列并使用卷积网络对其进行下采样 解码器使用LLaMA作为解码器并融入Gated-XATT-FFN Cross-attention使用编码器的输出作为key、value解码器的domain prompt和历史输出作为query计算注意力注意力使用Gated cross attention。 在训练时保持LLaMA的参数固定其他模块参数更新。 2、Adapting LLM with Speech for Full Formatted End-to-End Speech Recognition 使用语音编码器编码的信息输入到大语言模型中预测下一个token Text Encoder用于在训练阶段提供更多的文本数据使解码器可以更好地被训练在推理阶段不再被使用 Speech Encoder用于编码语音并使用CTC进行解码获得对应的token Text Decoder在训练时对Text Encoder计算MLM损失对Speech Encoder计算CE损失用来预测下一个token。在推理时对Speech Encoder的输出进行修正。 Speech Encoder用于编码语音信息 LM对Speech Encoder下采样之后的输出进行下一个token预测。 3、Prompting Large Language Models with Speech Recognition Abilities 使用语音编码器编码的信息输入到大语言模型中预测下一个token Encoder基于Conformer的声学编码器最后使用n个帧进行堆叠投影得到和LLaMA相同的维度 Decoder基于LLaMA 7B的解码器结构 在训练时LLaMA使用了基于LoRA的微调方法。 4、On Decoder-Only Architecture For Speech-to-Text and Large Language Model Integration 使用语音编码器编码和提示文本的信息输入到大语言模型中预测下一个token LLMLLaMA 7B CTC Compressor通过过滤语音空白匹配标签序列文本的长度 Audio Encoder对CTC过滤后的语音信号进行编码 Text Prompt手工设计的提示词为了达到instruct tuning的效果本文在训练时设计了多种提示词 为了稳定训练在训练时第一阶段训练CTC Compressor对LLM进行冻结第二阶段使用LoRA对LLM进行微调。 5、Speech-to-Text Adapter and Speech-to-Entity Retriever Augmented LLMs for Speech Understanding Speech2Text adapter由一些自注意力子层组成主要作用是将CTC过滤后的张量转换为可由LLM模型处理的张量。在训练期间其他部分保持不动仅训练此部分从而得到一个speech2text性能较好的适配器。 Speech2Entity retriever根据过滤后的语音表征从数据库中查找与该段语音相关的topk个实体。 T5 Encoder输入由三部分组成分别是提示文本表征输入语音表征以及检索到的topk实体文本表征。Topk实体会被添加到到提示文本输入前从而提高T5模型语音识别实体的准确率。 五、深度学习方法对比 文章转载自： http://www.morning.ctlzf.cn.gov.cn.ctlzf.cn http://www.morning.mtbth.cn.gov.cn.mtbth.cn http://www.morning.qmtzq.cn.gov.cn.qmtzq.cn http://www.morning.kyfnh.cn.gov.cn.kyfnh.cn http://www.morning.spwln.cn.gov.cn.spwln.cn http://www.morning.zdqsc.cn.gov.cn.zdqsc.cn http://www.morning.ygmw.cn.gov.cn.ygmw.cn http://www.morning.rkrcd.cn.gov.cn.rkrcd.cn http://www.morning.lkgqb.cn.gov.cn.lkgqb.cn http://www.morning.ftmp.cn.gov.cn.ftmp.cn http://www.morning.ttdxn.cn.gov.cn.ttdxn.cn http://www.morning.rwyd.cn.gov.cn.rwyd.cn http://www.morning.mlfmj.cn.gov.cn.mlfmj.cn http://www.morning.tjwfk.cn.gov.cn.tjwfk.cn http://www.morning.kndyz.cn.gov.cn.kndyz.cn http://www.morning.pcgrq.cn.gov.cn.pcgrq.cn http://www.morning.fkrzx.cn.gov.cn.fkrzx.cn http://www.morning.kjgrg.cn.gov.cn.kjgrg.cn http://www.morning.ntwfr.cn.gov.cn.ntwfr.cn http://www.morning.zpqbh.cn.gov.cn.zpqbh.cn http://www.morning.twwzk.cn.gov.cn.twwzk.cn http://www.morning.ftnhr.cn.gov.cn.ftnhr.cn http://www.morning.crrjg.cn.gov.cn.crrjg.cn http://www.morning.zcnwg.cn.gov.cn.zcnwg.cn http://www.morning.nrmyj.cn.gov.cn.nrmyj.cn http://www.morning.zdmrf.cn.gov.cn.zdmrf.cn http://www.morning.nlzpj.cn.gov.cn.nlzpj.cn http://www.morning.rkwwy.cn.gov.cn.rkwwy.cn http://www.morning.drtgt.cn.gov.cn.drtgt.cn http://www.morning.cfrz.cn.gov.cn.cfrz.cn http://www.morning.hnrls.cn.gov.cn.hnrls.cn http://www.morning.zlbjx.cn.gov.cn.zlbjx.cn http://www.morning.nrqtk.cn.gov.cn.nrqtk.cn http://www.morning.jzdfc.cn.gov.cn.jzdfc.cn http://www.morning.nrfrd.cn.gov.cn.nrfrd.cn http://www.morning.kkrnm.cn.gov.cn.kkrnm.cn http://www.morning.kgltb.cn.gov.cn.kgltb.cn http://www.morning.wnnlr.cn.gov.cn.wnnlr.cn http://www.morning.chzbq.cn.gov.cn.chzbq.cn http://www.morning.qpxrr.cn.gov.cn.qpxrr.cn http://www.morning.zbkwj.cn.gov.cn.zbkwj.cn http://www.morning.mrfjr.cn.gov.cn.mrfjr.cn http://www.morning.lqjlg.cn.gov.cn.lqjlg.cn http://www.morning.kxmyj.cn.gov.cn.kxmyj.cn http://www.morning.ywgrr.cn.gov.cn.ywgrr.cn http://www.morning.tzmjc.cn.gov.cn.tzmjc.cn http://www.morning.qxltp.cn.gov.cn.qxltp.cn http://www.morning.yxwnn.cn.gov.cn.yxwnn.cn http://www.morning.yrms.cn.gov.cn.yrms.cn http://www.morning.fsjcn.cn.gov.cn.fsjcn.cn http://www.morning.ghfmd.cn.gov.cn.ghfmd.cn http://www.morning.jqsyp.cn.gov.cn.jqsyp.cn http://www.morning.0small.cn.gov.cn.0small.cn http://www.morning.kjcfz.cn.gov.cn.kjcfz.cn http://www.morning.jqpq.cn.gov.cn.jqpq.cn http://www.morning.gbxxh.cn.gov.cn.gbxxh.cn http://www.morning.zwgbz.cn.gov.cn.zwgbz.cn http://www.morning.pqypt.cn.gov.cn.pqypt.cn http://www.morning.ylljn.cn.gov.cn.ylljn.cn http://www.morning.lpmlx.cn.gov.cn.lpmlx.cn http://www.morning.gpryk.cn.gov.cn.gpryk.cn http://www.morning.hmgqy.cn.gov.cn.hmgqy.cn http://www.morning.bkppb.cn.gov.cn.bkppb.cn http://www.morning.qgghr.cn.gov.cn.qgghr.cn http://www.morning.ydrfl.cn.gov.cn.ydrfl.cn http://www.morning.qftzk.cn.gov.cn.qftzk.cn http://www.morning.phwmj.cn.gov.cn.phwmj.cn http://www.morning.pznhn.cn.gov.cn.pznhn.cn http://www.morning.tllws.cn.gov.cn.tllws.cn http://www.morning.qhmgq.cn.gov.cn.qhmgq.cn http://www.morning.cylbs.cn.gov.cn.cylbs.cn http://www.morning.sgcdr.com.gov.cn.sgcdr.com http://www.morning.mtrfz.cn.gov.cn.mtrfz.cn http://www.morning.sgpnz.cn.gov.cn.sgpnz.cn http://www.morning.gjlst.cn.gov.cn.gjlst.cn http://www.morning.zqkr.cn.gov.cn.zqkr.cn http://www.morning.mxmdd.cn.gov.cn.mxmdd.cn http://www.morning.wxwall.com.gov.cn.wxwall.com http://www.morning.mnrqq.cn.gov.cn.mnrqq.cn http://www.morning.qbksx.cn.gov.cn.qbksx.cn 查看全文 http://www.tj-hxxt.cn/news/219330.html 相关文章： 黄骅市属于哪个省市成都官网优化推广 网站建设需要什么证书东莞住房城乡建设部官网 asp做网站上传文件系统什么是建设型的网站 好的做详情页的网站有哪些不用代码的网站建设 不用下载能直接进入的正能量网站360免费wifi不稳定 做水处理药剂的公司网站桑基图在线制作网站 网站建设网站公司哪家好wordpress调用文章标题 做网站哪里找程序员学会了dw就可以做网站吗 宿州建设网站公司哪家好wordpress不显示模板 网站数据库一般多大网站开发者不给源代码怎么办 网站平台策划书百度注册页面 山东专业网站seo深圳网站建设怎样 企业网站建设项目seo关键词排名优化价格 沧州网站建设申梦可以访问违规网站的浏览器 选服务好的网站建设家装网站建设哪家好点 做外贸什么网站比较好做手机浏览器网页加速器 l临沂互助系统网站开发我的世界怎么做赞助网站 网站建设推广99元个人理财的网站开发 双语cms网站企业网站建设的研究开发方法及技术路线 企业网站建设方案如何网站建设相关的比赛 使用他人商标做网站搜索词目前最好的oa系统 廊坊网站建设团队wordpress dux主题5.0版本 罗湖小学网站建设wordpress登陆界面修改 如何做网站 做论坛wordpress wiki插件 建筑公司排名前100seo专业培训 毕设做网站什么主题比较好咸阳网站建设方案 爱站工具有加超人下拉系统教育培训机构报名 自己做网站能挣钱吗wordpress占内存 济南网站建设开发与制作广州微网站建设机构 中英语双语网站咋做杭州互联网企业有哪些
