当前位置： 首页 > news >正文 包头做网站的公司招聘信息全媒体广告加盟 news 2025/10/27 22:13:28 包头做网站的公司招聘信息,全媒体广告加盟,短网址在线生成器,做护肤品好的网站好先说结论#xff0c;大语言模型除了作为聊天的Agent#xff0c;也可以为检索模型生成优质的文本对训练数据#xff0c;从而做到无监督场景下也能够适用。这里分享一篇AAAI2024的工作#xff0c;重点探讨如何生成比评估集更困难的训练数据来提升无监督句子表示学习质量…先说结论大语言模型除了作为聊天的Agent也可以为检索模型生成优质的文本对训练数据从而做到无监督场景下也能够适用。这里分享一篇AAAI2024的工作重点探讨如何生成比评估集更困难的训练数据来提升无监督句子表示学习质量应该对很多表示学习工作都有一定启发 论文题目Narrowing the Gap between Supervised and Unsupervised Sentence Representation Learning with Large Language Model 来源AAAI2024/实验室师兄/北航 方向文本表示学习 开源地址https://github.com/BDBC-KG-NLP/NGCSE 摘要 句子表示学习SRL是自然语言处理NLP中的一项基本任务句子编码对比学习CSE因其优越的性能而成为主流技术。CSE中一个有趣的现象是有监督方法和无监督方法之间的显著性能差异它们唯一的区别在于训练数据。以前的工作将这种性能差距归因于对齐和均匀性的差异。然而由于对齐和均匀性只衡量结果他们没有回答“训练数据的什么方面导致了性能差距”以及“如何才能缩小性能差距”。 本文进行了实验来回答这两个问题。首先通过彻底比较监督和无监督CSE在各自训练过程中的行为来回答“什么”的问题。从比较中我们确定了相似度模式是性能差距的关键因素并引入了一个度量称为相对拟合难度Relative Fitting DifficultyRFD来衡量相似度模式的复杂性。 然后基于从“什么”问题中获得的见解我们通过增加训练数据的模式复杂性来解决“如何”问题。我们通过利用大语言模型LLM的上下文学习ICL能力来生成模拟复杂模式的数据来实现这一点。通过利用LLM生成数据中的有层次的模式本文有效地缩小了有监督和无监督CSE之间的差距。 介绍 “什么”导致了性能差距 相似度模式一个数据集怎样定义相似和不相似的文本对。训练数据集的相似度模式越复杂训练效果越好。训练集的相似度模式可以用训练集与评估集间的对齐和均匀性的相对大小来衡量。用这种方式可以发现有监督训练集NLI中的相似度模式要比评估集更复杂而无监督训练集Wiki中的相似度模式要比评估集简单。下图说明了这一结论在对齐和均匀性两个指标上有监督训练集都要高于评估集而无监督训练集都要更低。 由此本文提出了相对匹配难度Relative Fitting Difficulty (RFD)来评估相似度模式的复杂性即计算对比学习训练过程中Bert每个时间步在训练集和评估集的表征的对齐和均匀性的差值再取平均 实验表明RFD较大的数据确实能获得更好的效果下图中右上角的五角星代表本文的训练方法的结果可以看到相比左下方的之前的无监督训练方式都有明显提升同时RFD也基本都更大 如何才能缩小性能差距 接着本文通过LLM的上下文学习提示LLM模拟了NLI数据即两个句子是违背还是不违背和STSSTS数据将两个句子的相似度分为positiveintermediatenegative其中中间等级是让语言模型生成比positive细节少一些的句子 为了有效利用STS生成数据中的层次化结构关系本文还提出了一种层次化结构的三元损失Hierarchical Triplet (HT) loss 并将这个损失和对比损失结合作为训练目标 STS实验结果表明确实缩小了有监督和无监督训练的差异在STS16上完成了反超不过大部分还是不能达到有监督的水平 分类任务上将差距缩小到一个点以内部分结果基本相当 大家好我是NLP研究者BrownSearch如果你觉得本文对你有帮助的话不妨点赞或收藏支持我的创作您的正反馈是我持续更新的动力如果想了解更多LLM/检索的知识记得关注我 文章转载自： http://www.morning.yrjhr.cn.gov.cn.yrjhr.cn http://www.morning.wnqbf.cn.gov.cn.wnqbf.cn http://www.morning.nzfjm.cn.gov.cn.nzfjm.cn http://www.morning.fbtgp.cn.gov.cn.fbtgp.cn http://www.morning.cxtbh.cn.gov.cn.cxtbh.cn http://www.morning.lzqxb.cn.gov.cn.lzqxb.cn http://www.morning.mstbbs.com.gov.cn.mstbbs.com http://www.morning.krywy.cn.gov.cn.krywy.cn http://www.morning.gzttoyp.com.gov.cn.gzttoyp.com http://www.morning.nkiqixr.cn.gov.cn.nkiqixr.cn http://www.morning.ktnmg.cn.gov.cn.ktnmg.cn http://www.morning.kgkph.cn.gov.cn.kgkph.cn http://www.morning.mgskc.cn.gov.cn.mgskc.cn http://www.morning.ykrg.cn.gov.cn.ykrg.cn http://www.morning.gcftl.cn.gov.cn.gcftl.cn http://www.morning.glcgy.cn.gov.cn.glcgy.cn http://www.morning.qineryuyin.com.gov.cn.qineryuyin.com http://www.morning.fkmqg.cn.gov.cn.fkmqg.cn http://www.morning.npfkw.cn.gov.cn.npfkw.cn http://www.morning.gwtbn.cn.gov.cn.gwtbn.cn http://www.morning.rnkq.cn.gov.cn.rnkq.cn http://www.morning.rwls.cn.gov.cn.rwls.cn http://www.morning.nbhft.cn.gov.cn.nbhft.cn http://www.morning.xtgzp.cn.gov.cn.xtgzp.cn http://www.morning.wtbzt.cn.gov.cn.wtbzt.cn http://www.morning.srcth.cn.gov.cn.srcth.cn http://www.morning.wsnjn.cn.gov.cn.wsnjn.cn http://www.morning.zmzdx.cn.gov.cn.zmzdx.cn http://www.morning.yxkyl.cn.gov.cn.yxkyl.cn http://www.morning.shangwenchao4.cn.gov.cn.shangwenchao4.cn http://www.morning.nj-ruike.cn.gov.cn.nj-ruike.cn http://www.morning.pjyrl.cn.gov.cn.pjyrl.cn http://www.morning.crtgd.cn.gov.cn.crtgd.cn http://www.morning.mrlkr.cn.gov.cn.mrlkr.cn http://www.morning.thjqk.cn.gov.cn.thjqk.cn http://www.morning.nxbsq.cn.gov.cn.nxbsq.cn http://www.morning.zrnph.cn.gov.cn.zrnph.cn http://www.morning.zcnfm.cn.gov.cn.zcnfm.cn http://www.morning.psxwc.cn.gov.cn.psxwc.cn http://www.morning.lgznc.cn.gov.cn.lgznc.cn http://www.morning.bpmtg.cn.gov.cn.bpmtg.cn http://www.morning.fynkt.cn.gov.cn.fynkt.cn http://www.morning.bnxnq.cn.gov.cn.bnxnq.cn http://www.morning.gjwkl.cn.gov.cn.gjwkl.cn http://www.morning.qrsm.cn.gov.cn.qrsm.cn http://www.morning.cpqwb.cn.gov.cn.cpqwb.cn http://www.morning.hmlpn.cn.gov.cn.hmlpn.cn http://www.morning.jjnry.cn.gov.cn.jjnry.cn http://www.morning.krkwp.cn.gov.cn.krkwp.cn http://www.morning.rrqgf.cn.gov.cn.rrqgf.cn http://www.morning.xgcwm.cn.gov.cn.xgcwm.cn http://www.morning.wnpps.cn.gov.cn.wnpps.cn http://www.morning.bzsqr.cn.gov.cn.bzsqr.cn http://www.morning.mflhr.cn.gov.cn.mflhr.cn http://www.morning.rkfh.cn.gov.cn.rkfh.cn http://www.morning.xjmyq.com.gov.cn.xjmyq.com http://www.morning.zpfqh.cn.gov.cn.zpfqh.cn http://www.morning.dlwzm.cn.gov.cn.dlwzm.cn http://www.morning.nrchx.cn.gov.cn.nrchx.cn http://www.morning.qcymf.cn.gov.cn.qcymf.cn http://www.morning.cnqwn.cn.gov.cn.cnqwn.cn http://www.morning.zzhqs.cn.gov.cn.zzhqs.cn http://www.morning.cyjjp.cn.gov.cn.cyjjp.cn http://www.morning.rykgh.cn.gov.cn.rykgh.cn http://www.morning.lizpw.com.gov.cn.lizpw.com http://www.morning.cjsrg.cn.gov.cn.cjsrg.cn http://www.morning.pcjw.cn.gov.cn.pcjw.cn http://www.morning.rgpy.cn.gov.cn.rgpy.cn http://www.morning.pqbkk.cn.gov.cn.pqbkk.cn http://www.morning.zhghd.cn.gov.cn.zhghd.cn http://www.morning.bbtn.cn.gov.cn.bbtn.cn http://www.morning.snmth.cn.gov.cn.snmth.cn http://www.morning.gxcym.cn.gov.cn.gxcym.cn http://www.morning.kdgcx.cn.gov.cn.kdgcx.cn http://www.morning.xglgm.cn.gov.cn.xglgm.cn http://www.morning.xtqld.cn.gov.cn.xtqld.cn http://www.morning.hmnhp.cn.gov.cn.hmnhp.cn http://www.morning.kndyz.cn.gov.cn.kndyz.cn http://www.morning.nyqzz.cn.gov.cn.nyqzz.cn http://www.morning.dblgm.cn.gov.cn.dblgm.cn 查看全文 http://www.tj-hxxt.cn/news/254973.html 相关文章： 网站开发公司架构自学做视频网站 中国住房和城乡建设厅网站怀化seo优化 河北省住房城乡建设网站域名信息 那些网站是asp做的网站建设公司成就 网站优化方案案例器材管理网站开发 建设自己的淘宝优惠券网站在微信上怎么开店 sql注入网站源码wordpress 减少head 网站换模板.net 手机网站开发 网站开发视频教程百度网盘一个公司做两个网站可以吗 能够做代理的网站有哪些问题免费商标图案设计logo 二级域名解析网站wordpress模板制作兼职 帝国cms手机网站上海网站建设公司 红威 营销型网站建设步骤网站建设支付接口 企业怎么建设自己的网站招商加盟项目推荐 网站公司怎么做的好长春开发公司 国外手机网站模板用discuz做的网站 搭建网站多少钱wordpress网站设置关键词设置 商城网站建设定制企业注册登记流程 国内有做外汇的正规网站吗长春启做网站多少 手机高端网站开发网页浏览器大全 宁海县建设局网站天猫店购买交易平台 电商网站建设选迅法网静态网站建设报告 中源建设有限公司网站手机中国建设银行 美容手机网站模板百度官网认证入口 网站怎么在百度搜不到网站建设开票开什么内容 网站维护 公司简介WordPress 推酷 主题 网站建设拓客有什么方法企业注册百家号可以做网站吗 网站asp怎么没有菜单栏网络公司的网页设计 wordpress视频源码东莞企业seo推广 网站推广新手入门高端大气企业网站源码
