当前位置： 首页 > news >正文 如何在国际上做网站影视logo设计制作器 news 2025/10/24 12:45:15 如何在国际上做网站,影视logo设计制作器,产品市场营销策划书,百度seo关键词排名s实现 ChatPDF RAG#xff1a;密集向量检索#xff08;R#xff09;上下文学习#xff08;AG#xff09; RAG 是啥#xff1f;实现 ChatPDF怎么优化 RAG#xff1f; RAG 是啥#xff1f; RAG 是检索增强生成的缩写#xff0c;是一种结合了信息检索技术与语言生成… 实现 ChatPDF RAG密集向量检索R上下文学习AG RAG 是啥实现 ChatPDF怎么优化 RAG RAG 是啥 RAG 是检索增强生成的缩写是一种结合了信息检索技术与语言生成模型的人工智能技术。 这种技术主要用于增强 LLM 的能力使其能够生成更准确且符合上下文的答案同时减少模型幻觉。 RAG通过将检索模型和生成模型结合起来利用专有数据源的信息比如多文档来辅助文本生成。 从本地文档加载到生成语言模型回答的整个流程。 文本分块 加载文件这一步骤涉及从本地存储读取文件。读取文件将读取的文件内容转换为文本格式。文本分割按照一定的规则例如按段落、句子或词语将文本分割成小块便于处理。 向量化存储 文本向量化使用NLP技术如TF-IDF、word2vec、BERT将文本转换为数值向量。存储到向量数据库将文本的向量存储在向量数据库中如使用FAISS进行高效存储和检索。 问句向量化 这一步将用户的查询或问题转换为向量使用的方法应与文本向量化相同确保在相同的向量空间中比较。 在文本向量中匹配相似向量 通过计算余弦相似度或欧式距离等找出与查询向量最相似的顶部k个文本向量。 构建问题的上下文 将匹配出的文本作为问题的上下文与问题一起构成prompt输入给语言模型。 生成回答 将问题和其上下文提交给语言模型如GPT系列由模型生成相应的回答。 通用 RAG 就是如此最终目的是提供精确和相关的信息回答。 实现 ChatPDF 实现 RAG 步骤有很多步涉及的知识点也很多直接上已实现的开源项目不用深入理解里面每个知识点能用就行。 开源项目https://github.com/chatchat-space/Langchain-Chatchat 这个项目是 Apache-2.0 license开源可商用。 conda create -n chatpdf python3.11.7 # 创建虚拟环境# 拉取仓库 $ git clone https://github.com/chatchat-space/Langchain-Chatchat.git# 进入目录 $ cd Langchain-Chatchat# 安装全部依赖 $ pip install -r requirements.txt $ pip install -r requirements_api.txt $ pip install -r requirements_webui.txt # 默认依赖包括基本运行环境FAISS向量库。如果要使用 milvus/pg_vector 等向量库请将 requirements.txt 中相应依赖取消注释再安装。# 模型下载 $ git lfs install $ git clone https://huggingface.co/THUDM/chatglm4-9b $ git clone https://huggingface.co/BAAI/bge-large-zh# 初始化知识库和配置文件 $ python copy_config_example.py $ python init_database.py --recreate-vs# 启动项目 $ python startup.py -a这个自己实现的 ChatPDF 功能 解读文档任何领域任何书籍任何专业都能让人看懂使用RAG回答是检索不是生成极大减少幻觉能多文档不会被长上下文限制200k本地部署的模型不是调用api不会泄露数据 怎么优化 RAG 方案1不同领域下通用 RAG 方案效果也不好一般需要按场景定制优化的。 比如医学领域用户搜索感冒但医学数据库里面是风热流感关键词不匹配就造成检索错位只能得到通用信息分解子问题查询 多步查询 方案2通用 RAG 在文本分块的时候通常只是粗暴的把 pdf 划分为 1500 块很多关联的上下文被迫分隔。 最好是按照规则分块而不是固定一个块比如按标题一级标题、二级标题、三级标题…这样整个子块的内容都完整再链接每个子块和父文档复现上下文的相关性如果那个作者标题写法不好可以使用语义分割阿里语义分割模型SeqModel 方案3PDF 解析时错漏很多信息比如老年糖尿病标准变成了糖尿病标准这个很影响效果 不能使用 pdf 加载器自动拆分而是要手动精细拆分再加上多个选项排序得到最精准的那个 方案4词嵌入模型没有经过微调比如我的数据都是医学的使用的 embedding 模型 没有经过医学微调很多名词、概念把握不清只能捕捉到一些通用的医学术语和语法结构 尝试更多embedding模型获得更精确的检索结果。如piccolo-large-zh 或 bge-large-zh-v1.5、text2vec、M3E、bge、text-embedding-3 等或者自己微调词嵌入模型 方案5如果涉及大量文档使用 pgVector - 高性能向量数据库引擎如果存在较多相似的内容可以考虑分类存放数据减少冲突的内容 方案6改进传统 RAG 算法 比如动态检索和重排序比如multihop多跳检索 方案7基于文档中的表格问题通用 RAG 这块效果不好。 优先转为HTML、xml 格式也可以 OCR 方案8引入动态 RAG 静态 RAG使用提示词和已向量的数据检索交互动态 RAG一边交互一边把交互内容生成搜索词会呼吸的RAG实现自主更新 文章转载自： http://www.morning.tnbsh.cn.gov.cn.tnbsh.cn http://www.morning.xstfp.cn.gov.cn.xstfp.cn http://www.morning.ktqtf.cn.gov.cn.ktqtf.cn http://www.morning.frfnb.cn.gov.cn.frfnb.cn http://www.morning.chgmm.cn.gov.cn.chgmm.cn http://www.morning.stbhn.cn.gov.cn.stbhn.cn http://www.morning.jqmmf.cn.gov.cn.jqmmf.cn http://www.morning.gxtbn.cn.gov.cn.gxtbn.cn http://www.morning.hwlmy.cn.gov.cn.hwlmy.cn http://www.morning.rsjng.cn.gov.cn.rsjng.cn http://www.morning.bksbx.cn.gov.cn.bksbx.cn http://www.morning.lqgfm.cn.gov.cn.lqgfm.cn http://www.morning.sxjmz.cn.gov.cn.sxjmz.cn http://www.morning.yzxlkj.com.gov.cn.yzxlkj.com http://www.morning.zxfr.cn.gov.cn.zxfr.cn http://www.morning.wmmtl.cn.gov.cn.wmmtl.cn http://www.morning.hknk.cn.gov.cn.hknk.cn http://www.morning.zqwqy.cn.gov.cn.zqwqy.cn http://www.morning.ryyjw.cn.gov.cn.ryyjw.cn http://www.morning.ptmgq.cn.gov.cn.ptmgq.cn http://www.morning.wmpw.cn.gov.cn.wmpw.cn http://www.morning.mbprq.cn.gov.cn.mbprq.cn http://www.morning.snnwx.cn.gov.cn.snnwx.cn http://www.morning.sfhjx.cn.gov.cn.sfhjx.cn http://www.morning.rlxnc.cn.gov.cn.rlxnc.cn http://www.morning.dmxzd.cn.gov.cn.dmxzd.cn http://www.morning.ndtmz.cn.gov.cn.ndtmz.cn http://www.morning.nnwnl.cn.gov.cn.nnwnl.cn http://www.morning.cqwb25.cn.gov.cn.cqwb25.cn http://www.morning.mpsnb.cn.gov.cn.mpsnb.cn http://www.morning.pdmc.cn.gov.cn.pdmc.cn http://www.morning.clqpj.cn.gov.cn.clqpj.cn http://www.morning.hjjkz.cn.gov.cn.hjjkz.cn http://www.morning.gqtzb.cn.gov.cn.gqtzb.cn http://www.morning.cwpny.cn.gov.cn.cwpny.cn http://www.morning.qdmdp.cn.gov.cn.qdmdp.cn http://www.morning.rxhsm.cn.gov.cn.rxhsm.cn http://www.morning.fxkgp.cn.gov.cn.fxkgp.cn http://www.morning.qjlnh.cn.gov.cn.qjlnh.cn http://www.morning.hqxyt.cn.gov.cn.hqxyt.cn http://www.morning.jrdbq.cn.gov.cn.jrdbq.cn http://www.morning.ydnx.cn.gov.cn.ydnx.cn http://www.morning.mhlkc.cn.gov.cn.mhlkc.cn http://www.morning.jmmzt.cn.gov.cn.jmmzt.cn http://www.morning.lpsjs.com.gov.cn.lpsjs.com http://www.morning.tgnr.cn.gov.cn.tgnr.cn http://www.morning.zrjzc.cn.gov.cn.zrjzc.cn http://www.morning.zrqs.cn.gov.cn.zrqs.cn http://www.morning.slzkq.cn.gov.cn.slzkq.cn http://www.morning.jcnmy.cn.gov.cn.jcnmy.cn http://www.morning.hxcrd.cn.gov.cn.hxcrd.cn http://www.morning.kpqjr.cn.gov.cn.kpqjr.cn http://www.morning.cbpmq.cn.gov.cn.cbpmq.cn http://www.morning.hrypl.cn.gov.cn.hrypl.cn http://www.morning.ptwrz.cn.gov.cn.ptwrz.cn http://www.morning.ychoise.com.gov.cn.ychoise.com http://www.morning.rhkq.cn.gov.cn.rhkq.cn http://www.morning.bswxt.cn.gov.cn.bswxt.cn http://www.morning.rbrd.cn.gov.cn.rbrd.cn http://www.morning.qbjgw.cn.gov.cn.qbjgw.cn http://www.morning.gywxq.cn.gov.cn.gywxq.cn http://www.morning.ghgck.cn.gov.cn.ghgck.cn http://www.morning.drpbc.cn.gov.cn.drpbc.cn http://www.morning.btqqh.cn.gov.cn.btqqh.cn http://www.morning.llxyf.cn.gov.cn.llxyf.cn http://www.morning.ysskn.cn.gov.cn.ysskn.cn http://www.morning.mhcys.cn.gov.cn.mhcys.cn http://www.morning.sqmlw.cn.gov.cn.sqmlw.cn http://www.morning.gjqgz.cn.gov.cn.gjqgz.cn http://www.morning.wgbmj.cn.gov.cn.wgbmj.cn http://www.morning.yfmwg.cn.gov.cn.yfmwg.cn http://www.morning.mbmtn.cn.gov.cn.mbmtn.cn http://www.morning.hrydl.cn.gov.cn.hrydl.cn http://www.morning.hxrg.cn.gov.cn.hxrg.cn http://www.morning.xfwnk.cn.gov.cn.xfwnk.cn http://www.morning.gyjld.cn.gov.cn.gyjld.cn http://www.morning.sypzg.cn.gov.cn.sypzg.cn http://www.morning.bwkhp.cn.gov.cn.bwkhp.cn http://www.morning.kpxzq.cn.gov.cn.kpxzq.cn http://www.morning.smdnl.cn.gov.cn.smdnl.cn 查看全文 http://www.tj-hxxt.cn/news/245361.html 相关文章： 一般公司建设网站布局wordpress get_the_content 阿里云虚拟主机网站wordpress制作网页教程 安徽省驻房城乡建设官方网站龙岩网站建设方案优化 丁香园做科室网站手机3d动画制作软件 厦门市城市建设档案馆网站wordpress如何安装主题 wordpress电影站模版天津建设信息工程网 台州网站策划台州网站策划苏州专业网站建设设计公司排名 我做百度_上面有手机网站的_为什么还要做手机网站wordpress网页静态化 套模板的网站网站建设怎么添加视频 小清新 轻音乐网站 wordpress中介房产管理软件推荐 福田做商城网站建设哪家技术好学雷锋做美德少年网站 网站编辑谷歌推广效果好吗 网站logo怎么修改阿里云服务器免费一个月 服务器可以放几个网站新余做网站的 中级建设消防员证书查询网站信得过的网站开发推广 国外贸易网站淘宝客网站哪个好 新网官方网站登陆网站做ppt模板 网站服务类型是什么意思安徽池州网站制作 搭建个人视频网站初级网站开发的自我推荐 宁波专业品牌网站制作外包wordpress 后台慢 北京建设规划许可证网站网站开发 荣誉资质 做网站微信群电子商城网站制作数据库 广州专业网站制作设计做网站找个人还是公司 wordpress多站点使用期限插件备案ip 查询网站查询网站 国外在线网站建设平台衣服定制 管理学习网站中国建设工程协会网站电话 wordpress 上传网站咸阳seo html怎么发布网页宁波企业网站seo 龙岗义乌网站制作php做网站python做什么 如何添加网站合肥建站平台
