怎么做网站主页设计,高端网站建设步骤,生鲜配送网站建设,资阳优化团队平台前言
最近双十一做活动买了台新电脑#xff0c;显卡好起来了自然也开始大模型的学习工作了#xff0c;这篇文章可能是该系列的第一弹#xff0c;本地私有化部署千问agent#xff0c;后面还会尝试一些其他的大模型结合本地知识库或者做行业垂直模型训练的#xff0c;一步…前言
最近双十一做活动买了台新电脑显卡好起来了自然也开始大模型的学习工作了这篇文章可能是该系列的第一弹本地私有化部署千问agent后面还会尝试一些其他的大模型结合本地知识库或者做行业垂直模型训练的一步一步慢慢来吧。
AI Agent
背景介绍
随着今年国外GPT4.0、claude2的出现在加上国内“百模大战”的盛况整个大模型领域是真的越来越卷了但是卷也意味着会出现更多的新赛道由此 AI Agent 的概念应运而生2、3月。
首先开始专注Agent领域的是OpenAI的创始成员Andrej Karpathy它也曾在一次黑客松演讲6月中表示与大模型训练相比OpenAI内部目前更关注Agent领域这也侧面说明现在agent的火爆不是一蹴而就的而是已经被“安排”好了的下一步。
那么到底什么是agent我们为什么需要agent呢agent能带来哪些好处呢
五层基石理论
在真正进入agent之前我想先抛出五层基石理论。这个理论的正确性和时效性有待考量但是至少就目前来看是合理且中肯的。
Seednapse AI创始人提出了构建AI应用的五层基石理论包括Models、Prompt Templates、Chains、Agent 和 Multi-Agent。这五层基石为不同领域的开发者提供了灵活的工具让他们能够更轻松地构建自己的Agent应用。 Models也就是我们熟悉的调用大模型API。 Prompt Templates在提示词中引入变量以适应用户输入的提示模版。 Chains对模型的链式调用以上一个输出为下一个输入的一部分。 Agent能自主执行链式调用以及访问外部工具。 Multi-Agent多个Agent共享一部分记忆自主分工相互协作。 定义
我查阅了十余篇文献其中提到最多的就是**在大模型的背景下Agent可以被理解为能够自主理解、规划和执行复杂任务的系统。**但是这个回答也是基于某种背景下来理解的如果单纯的来解释AI Agent我个人觉得它是一种能够自主感知环境、进行决策和执行动作的智能实体智能体、智能助理能够让人们以自然语言为交互方式高自动化地执行和处理专业或繁复的工作任务从而极大程度释放人员精力。
为什么需要Agent
大语言模型的浪潮推动了 AI Agent 相关研究快速发展AI Agent 是当前通往 AGI 的主要探索路线。大模型庞大的训练数据集中包含了大量人类行为数据为模拟类 人的交互打下了坚实基础另一方面随着模型规模不断增大大模型涌现出了上 下文学习能力、推理能力、思维链等类似人类思考方式的多种能力。将大模型作为** AI Agent 的核心大脑就可以实现以往难以实现的将复杂问题拆解成可实现的子任 务、类人的自然语言交互等能力。由于大模型仍存在大量的问题如幻觉、上下文容 量限制等通过让大模型借助一个或多个 Agent **的能力构建成为具备自主思考决策和执行能力的智能体成为了当前通往 AGI 的主要研究方向。 在特定行业场景中通用大模型具有的泛化服务特性很难在知识问答、内容生成、业务处理和管理决策等方面精准满足用户的需求。
因此让通用大模型学习行业知识和行业语料成为行业大模型再进一步学习业务知识和专业领域工具演进为场景大模型是生成式AI深入业务场景承担更复杂任务的关键路径。这一过程的实现让大模型的持续进化最终以AI Agent的产品形态开始了对业务的流程及其管理和服务模式的重构与优化。
Agent的好处
正如OpenAI联合创始人安德烈·卡帕斯Andrej Karpathy认为在各类行业组织对数字化实体的打造进程中对于通用人工智能AGI的应用将广泛采用AI Agent的产品形式开展业务而来自于各行业领域的开发人员和创业者们将比通用大模型的开发商们更具有对AI Agent的开发优势。AI Agent也被越来越多的人认可为是数字经济时代深刻赋能各行各业的高效生产力工具。
不同于传统的人工智能AI Agent 具备通过独立思考、调用工具去逐步完成给 定目标的能力。AI Agent 和大模型的区别在于大模型与人类之间的交互是基于 prompt 实现的用户 prompt 是否清晰明确会影响大模型回答的效果。而 AI Agent 的工作仅需给定一个目标它就能够针对目标独立思考并做出行动。和传统的 RPA 相比RPA 只能在给定的情况条件下根据程序内预设好的流程来进行工作的处 理而 AI Agent 则可以通过和环境进行交互感知信息并做出对应的思考和行动。
如何构建Agent
一个基于大模型的** AI Agent **系统可以拆分为大模型、规划、记忆与工具使用四个组 件部分。**AI Agent **可能会成为新时代的开端其基础架构可以简单划分为 Agent LLM 规划技能 记忆 工具使用其中 LLM 扮演了 Agent 的“大脑”在这个系统中提供推理、规划等能力。 由上图可见LLM-based Agent的概念框架由大脑、感知、行动三个部分组成。作为控制器大脑模块承担记忆、思考和决策等基本任务感知模块负责感知和处理来自外部环境的多模态信息行动模块负责使用工具执行任务并影响周围环境。下面还是简要介绍一下这三个模块
大脑模块
是上述框架的核心主要由大模型去做。借助大模型强大的自然语言交互能力大脑可以很好的与外界通过自然语言进行交互即准确理解感知模块输入的信息和生成准确的输出文本反馈。除了与外界交互更重要的是其强大的推理、分析和决策能力。这些能力是通过大模型的训练自动涌现的。目前也没有一个特别合理的解释说明为什么简单的语言模型当数据量和模型参数到达一定规模就会涌现出之前没有预料到的能力。当然想要进行准确的推理、分析和决策还需要一定的知识作为支撑这些知识包括常识知识和领域知识等。大模型掌握了非常丰富全面的通用领域的尝试知识但是对于特定领域知识还是有限。具体内容包括自然语言交互、知识、记忆、记忆检索方法、推理和规划、可迁移性和通用性。
运行机制为确保有效交流自然语言交互能力 至关重要。在接收感知模块处理的信息后大脑模块首先转向存储在知识中检索 并从记忆中回忆 。这些结果有助于Agent制定计划、进行推理和做出明智的决定 。此外大脑模块还能以摘要、矢量或其他数据结构的形式记忆Agent过去的观察、思考和行动。同时它还可以更新常识和领域知识等知识以备将来使用。LLM-based Agent还可以利用其固有的概括和迁移能力来适应陌生场景 。
感知模块
指对大脑的输入控制。大脑当前最成熟的感知手段还是自然语言输入。但是人类真是的感知场景的多模态的即我们感知一个事物主要是通过眼睛去看通过耳朵去听通过文字去理解等。因此大模型的感知部分未来的发展趋势一定是多模态融合的尤其是文本图片视频音频。当然在特定问题上也需要对其他感知形式进行处理最典型的就是传感器产生的数据的感知。具体内容包括文本输入、视觉输入、听觉输入、其他输入。
行动模块
当大脑对感知的多模态信息进行整合与分析之后就需要根据决策内容进行对应行动。最简单的行动就是返回一段文本把答案或者执行计划用文本形式返回。稍微复杂一些的话就是让大模型直接调用一些工具去执行操作。这个就需要大模型知道都有哪些工具每个工具的用途是什么这些工具的调用方法等。对于不同的需求大模型会找到适合的工具去调用并返回结果。这些工具可以是任意能够通过API调用的服务当前用的最多的是搜索引擎服务。当然对于嵌入到机器人上执行的行为可以更复杂例如具体的机械臂的操作等。具体内容包括文本输出、工具使用、具身行动。 千问Agent
废话不多说先直接甩上链接。 千问agenthttps://github.com/QwenLM/Qwen-Agent 这里我再说说结论用了几次之后感觉还凑合毕竟我这个人很少给人差评的具备了一些基础能力就日常办公而言还行但是跟我前文所述的智能体相比还是有很大的差距甚至可以说目前的千问agent只是初具雏形。下面是摘自该项目的介绍
Qwen-Agent 是一个代码框架用于发掘开源通义千问模型Qwen的工具使用、规划、记忆能力。 在 Qwen-Agent 的基础上我们开发了一个名为 BrowserQwen 的 Chrome 浏览器扩展它具有以下主要功能 与Qwen讨论当前网页或PDF文档的内容。 在获得您的授权后BrowserQwen会记录您浏览过的网页和PDF材料以帮助您快速了解多个页面的内容总结您浏览过的内容并减少繁琐的文字工作。 集成各种插件包括可用于数学问题求解、数据分析与可视化、处理文件等的代码解释器Code Interpreter。
这里也可以看出它提供的功能其实真的很基础但实用。
本地部署千问Agent
1、设置Python安装默认源可选 pip config set global.index-url http://mirrors.aliyun.com/pypi/simple/ 将 pip 的默认软件包源PyPI更改为阿里云镜像源好处就是下载速度更快和链接更稳定但是要注意的是使用这个命令修改全局配置会影响所有使用 pip 安装软件包的项目。如果只想在特定项目中使用该镜像源可以在项目的根目录下创建一个名为 .pip 或 pip.ini 的文件并将相同的配置内容写入其中这样只会影响该项目。
2、创建虚拟环境 conda create -n qwen-agent python3.10 -y conda activate qwen-agent 第一句命令 conda create -n qwen-agent python3.10 -y 是指使用conda来创建一个名为qwen-agent的虚拟环境并指定要安装的Python版本为3.10。其中-n qwen-agent 指定了要创建的虚拟环境的名称为qwen-agentpython3.10 指定了要在该环境中安装的Python版本为3.10-y 则表示在执行过程中不需要确认操作直接进行安装。
第二句命令 conda activate qwen-agent 是用于激活名为qwen-agent的虚拟环境。激活后系统中将会使用该虚拟环境中安装的Python版本和相关包来执行Python程序。激活后命令行提示符通常会显示当前已经激活的虚拟环境名称如(qwen-agent)“以示当前环境已经切换为qwen-agent”。
3、安装pytorch pip install torch2.0.0cu118 torchvision0.15.1cu118 torchaudio2.0.1 --index-url https://download.pytorch.org/whl/cu118 这条命令是使用pip安装特定版本的PyTorch、torchvision和torchaudio库同时指定了运行所需的CUDA版本为cu118并将下载源设置为PyTorch官方提供的URL。
具体来说命令中的参数解释如下 torch2.0.0cu118: 这表示要安装的PyTorch版本是2.0.0并且需要与CUDA版本cu118兼容。PyTorch是一个用于深度学习的开源机器学习库。 torchvision0.15.1cu118: 这表示要安装的torchvision版本是0.15.1并且需要与CUDA版本cu118兼容。torchvision是PyTorch的一个独立软件包用于对图像和视频数据进行处理。 torchaudio2.0.1: 这表示要安装的torchaudio版本是2.0.1。torchaudio是一个用于处理音频数据的PyTorch扩展库。 –index-url https://download.pytorch.org/whl/cu118: 这是一个额外的选项用于指定下载PyTorch和相关库时要使用的镜像源或索引URL。在这里https://download.pytorch.org/whl/cu118 是PyTorch官方提供的针对CUDA 11.1.1版本的URL地址它指示pip从该地址下载所需的库文件。
4、安装 flash-attention git clone -b v1.0.8 https://github.com/Dao-AILab/flash-attention; cd flash-attention pip uninstall -y ninja pip install ninja cd flash-attention pip install . 5、部署 Qwen 模型服务
安装依赖 git clone https://github.com/QwenLM/Qwen.git; cd Qwen pip install -r requirements.txt pip install fastapi uvicorn openai “pydantic2.3.0” sse_starlette 启动模型服务通过 -c 参数指定模型版本 指定 --server-name 0.0.0.0 将允许其他机器访问您的模型服务 指定 --server-name 127.0.0.1 则只允许部署模型的机器自身访问该模型服务 python openai_api.py --server-name 0.0.0.0 --server-port 7905 -c Qwen/Qwen-7B-Chat 目前支持指定的-c参数为以下模型按照GPU显存开销从小到大排序 Qwen/Qwen-7B-Chat-Int4 Qwen/Qwen-7B-Chat Qwen/Qwen-14B-Chat-Int4 Qwen/Qwen-14B-Chat
对于7B模型请使用2023年9月25日之后从官方HuggingFace重新拉取的版本因为代码和模型权重都发生了变化。
6、部署 Qwen-Agent
安装依赖 git clone https://github.com/QwenLM/Qwen-Agent.git cd Qwen-Agent pip install -r requirements.txt 启动数据库服务通过 --model_server 参数指定您在 Step 1 里部署好的模型服务 若 Step 1 的机器 IP 为 123.45.67.89则可指定 --model_server http://123.45.67.89:7905/v1 若 Step 1 和 Step 2 是同一台机器则可指定 --model_server http://127.0.0.1:7905/v1 python run_server.py --model_server http://127.0.0.1:7905/v1 --workstation_port 7864 7、浏览器访问Qwen-Agent
打开 http://127.0.0.1:7864/ 来使用工作台Workstation的创作模式Editor模式和对话模式Chat模式。 8、安装浏览器助手
安装BrowserQwen的Chrome插件又称Chrome扩展程序 打开Chrome浏览器在浏览器的地址栏中输入 chrome://extensions/ 并按下回车键 确保右上角的 开发者模式 处于打开状态之后点击 加载已解压的扩展程序 上传本项目下的 browser_qwen 目录并启用 单击谷歌浏览器右上角扩展程序图标将BrowserQwen固定在工具栏。
【注意】安装Chrome插件后需要刷新页面插件才能生效。
当您想让Qwen阅读当前网页的内容时 请先点击屏幕上的 Add to Qwen’s Reading List 按钮以授权Qwen在后台分析本页面。 再单击浏览器右上角扩展程序栏的Qwen图标便可以和Qwen交流当前页面的内容了。 结语
在《开源大模型LLaMA 2扮演Android角色AI大模型创业会集体失败吗》https://baijiahao.baidu.com/s?id1772053289038071546 一文中曾经提到大模型落地的方式是系统型超级应用。但系统型超级应用有点像被杜撰出来的一个词所以这次从 AI Agent 的角度来更加具体的描述下它。
AI Agent 非常关键没有它我们就无法扩展大模型的应用边界无法扩展边界就无法完成大模型的成功商业化无法成功商业化AI可能就会再亏损十年。人工智能如果仅止于现在看到的内容生成等几项应用就还是单薄的。能不能把价值传递到更多的场景核心就看AI Agent所以说AI Agent是大模型与场景间价值传递的桥梁。
对比千问的agent其实和理想中的AI Agent还是有很大差距的但是好在我们还有时间去研究、去挖掘未来的路虽然充满挑战但也充满希望。随着技术的不断发展和突破相信千问Agent也会不断向着理想中的方向迈进。
