购物网站建设咨询,龙岩优化公司,Ext做网站,重庆在线课程开放平台在2024稀土开发者大会-AI Agent与应用创新分会上#xff0c;我有幸分享了我们团队在企业应用中实施RAG#xff08;检索增强生成#xff09;的难点与创新。希望通过这篇文章#xff0c;与大家探讨我们在实践中遇到的问题和解决方案#xff0c;为从事相关工作的朋友提供一些…在2024稀土开发者大会-AI Agent与应用创新分会上我有幸分享了我们团队在企业应用中实施RAG检索增强生成的难点与创新。希望通过这篇文章与大家探讨我们在实践中遇到的问题和解决方案为从事相关工作的朋友提供一些新的思路。
一、企业应用中实施的四大难点
1. 文件解析的挑战
在企业环境中文件解析是实施RAG的第一步也是关键的一步。如果文件解析做不好后续的检索、向量化等工作都无从谈起。
老旧文件格式的解析我们发现在许多国企和特定行业中仍然存在大量的老旧文件格式如.doc非.docx等。市面上的许多解析工具并不支持这些格式这需要我们投入额外的精力进行支持和兼容。
PDF表格解析在金融、标准化工业等领域PDF中的表格解析是一个刚需。复杂的表格结构、合并单元格、跨行跨列等情况增加了解析的难度。为此我们基于Apache PDFBox进行了二次开发成功实现了对复杂表格的准确解析。
OCR的触发时机对于包含图文混排的文件何时启动OCR是一个需要深思的问题。过早或过晚都会影响解析效率和准确性。
布局识别的复杂性对于一些特殊的文件如机票、票据等需要进行布局识别以理解不同区域所代表的信息。这超出了传统OCR的能力范围需要更高级的技术支持。
2. 结构化数据的融合
在实际企业应用中很少有场景是纯粹的非结构化数据处理。通常需要与企业现有的结构化数据库进行融合。
与关系型数据库的融合大模型在处理结构化数据时存在一定的局限性尤其是在处理复杂逻辑和高精度查询时。为此我们保留了原有的结构化数据结构通过提取元数据和资源描述结合Function Call实现了自然语言与结构化数据的融合。
Text-to-SQL的现状与挑战尽管Text-to-SQL被视为未来的解决方案但目前在处理复杂逻辑和企业级应用时仍存在许多挑战需要更多的技术突破。
3. 索引建立过程中的处理
在资源有限的情况下我们需要在有限的硬件条件下实现高效的索引和检索。
基于元数据的检索范围缩小通过在文件上传时提取元数据如文件名、属性、标题等并在查询时使用命名实体识别NER模型我们能够缩小检索范围提高检索准确性。
使用NER模型提高准确性NER模型能够帮助我们理解用户的查询意图进而在大量的文档中快速定位相关内容。
4. 使用Rerank提升检索结果
为了提高检索结果的准确性我们在检索后增加了Rerank重排序步骤。
使用密度函数优化得分通过计算检索得分的密度函数我们能够自动截断低相关性的结果只保留最相关的文档。
在问答环节的应用在问答系统中我们使用Rerank确保返回的原文与大模型生成的答案高度匹配避免了答案与原文不一致的问题。
二、应用中的创新案例
1. 金融研报的应用创新
在金融领域研报的撰写需要耗费大量时间和精力。我们开发了一款工具允许用户将数百份文件上传至系统然后通过自然语言提问如“这家公司最近3年的复合增长率是多少”系统会给出准确的答案并提供原文参考。
这大大缩短了研报撰写的时间从原来的三周缩短到几个小时。同时系统还能生成初步的研报草稿供分析师进一步润色和完善。
2. 零售领域的创新应用
Touch-V哆啦A梦助力导购在零售业尤其是拥有大量SKU的商店导购人员很难快速匹配客户的复杂需求。通过我们的系统导购只需输入客户的需求系统就能从数万个SKU中筛选出最合适的产品。
装修设计中的即时反馈在装修设计领域客户的需求变化频繁传统的沟通方式效率低下。通过我们的应用设计师可以在平板电脑上实时与客户互动根据客户的反馈即时调整设计方案显著提高了效率。
3. 规则预审的应用创新
合同预审的自动化大型企业在合同审查上耗费大量人力。我们的系统能够根据预设的规则对合同进行自动审查标记出需要注意的条款减少了法务人员的工作量加快了合同审批流程。
项目评审中的规则应用在项目评审中我们的系统能够根据不同的评审规则对项目文件进行自动化的审查和评估提高了评审的客观性和效率。
三、总结与思考
在大模型应用落地的实践中我们深刻体会到要想做好AI在企业中的应用需要具备以下三个特点 功能小专注于具体的、可量化的功能解决实际问题而非追求大而全。 质量高确保应用的准确性和可靠性在现有技术条件下力求做到最好。 价值大专注于为客户创造实际价值解决他们最关心的问题。
在与客户合作的过程中我们也认识到沉淀大量的应用场景是企业服务的核心竞争力。这不仅能够帮助我们更好地理解客户需求也使我们在技术迭代和模型升级中始终保持领先。
展望未来随着大模型技术的不断发展我们期待能有更多的技术突破如多模态识别、更加精准的Text-to-SQL等。这些进步将为企业应用带来更大的可能性也为我们解决更多的实际问题提供了技术支持。
