杭工e家app是哪个网站做的,易优建站,做什么网站流量大,专业手机网站建设哪家好AUTOCRAWLER#xff1a;用于生成 WebCrawler 的渐进式理解 Web 代理
Fudan University;Alibaba Holding-Aicheng Technology-Enterprise
Abstract#xff1a;
网络自动化是一项重要技术#xff0c;它通过自动化常见的网络操作来完成复杂的网络任务#xff0c;提高效率并…AUTOCRAWLER用于生成 WebCrawler 的渐进式理解 Web 代理
Fudan University;Alibaba Holding-Aicheng Technology-Enterprise
Abstract
网络自动化是一项重要技术它通过自动化常见的网络操作来完成复杂的网络任务提高效率并减少手动干预。传统的网络自动化方法如wrappers在适应性和可扩展性上有局限性而基于大型语言模型LLMs的生成式代理在开放世界的环境中表现不佳。本文提出了一种针对垂直信息网页的爬虫生成任务介绍了一种结合LLMs与爬虫的新范式以提高爬虫应对多样化和不断变化的网络环境的效率。作者提出了AUTOCRAWLER这是一种利用HTML的层次结构进行逐步理解的两阶段框架。通过自顶向下和后退操作AUTOCRAWLER可以从错误的操作中学习并不断修剪HTML以更好地生成操作。作者通过多种LLMs进行了全面实验证明了框架的有效性。
1 Introduction
网络自动化通过编程与基于Web的应用程序或网站交互以执行通常需要人工干预的任务。传统的网络自动化方法主要依赖于wrappers这些wrappers对网站或网页具有特定的适应性。大型语言模型LLMs为生成式代理提供了计划、推理和反思等高级功能但在处理开放世界任务时仍存在性能差和可重用性低的问题。主要贡献 提出了一种新的web爬虫生成任务并对其进行分析。引入了AUTOCRAWLER这是一种具有渐进理解能力的两阶段框架。实验结果表明AUTOCRAWLER在爬虫生成任务中表现出色。
2 Preliminaries预备知识
2.1 Task Formulation爬虫生成任务是生成执行动作序列A的过程目标是在给定的网页集合中提取目标信息。2.2 Datasets使用SWDE、EXTENDED SWDE和DS1三个数据集来测试该任务。2.3 Evaluation Metrics提出了可执行性评估来评估动作序列的效果并采用传统的精确度、召回率和F1分数作为指标。
3 AUTOCRAWLER
3.1 Modeling将爬虫生成任务建模为动作序列生成任务。3.2 Progressive Generation通过自顶向下和后退操作逐步生成动作序列。3.3 Synthesis通过在种子网页上执行多个不同的动作序列来选择最终的动作序列。
4 Experiment
4.1 Experimental Settings Evaluation Metrics进行了广泛的实验设置包括使用不同的LLMs、数据集和评估指标。4.2 Main Results on SWDEAUTOCRAWLER在执行任务时表现优于其他框架。4.3 Generate with Golden Label在提供金标签的情况下AUTOCRAWLER仍能有效提升模型性能。4.4 Further Study with AUTOCRAWLER不同LLMs在生成动作序列的步数上存在差异性能更强的LLMs生成的步数较少。4.5 Error Analysis分析了AUTOCRAWLER在执行任务时的常见错误包括网页结构缺乏通用性和多值信息丢失。
Conclusion 文章提出了一个新的网络爬虫生成任务并介绍了AUTOCRAWLER框架这是一种结合LLMs和爬虫的新范式。AUTOCRAWLER利用HTML的层次结构进行逐步理解通过自顶向下和后退操作生成操作序列。通过广泛的实验证明了该框架在网络爬虫生成任务中的有效性。
