当前位置: 首页 > news >正文

免费建站自助建站网站建设教程网站建设教程woshop商城源码

免费建站自助建站网站建设教程网站建设教程,woshop商城源码,photoshop画简单网站,做网站找个人还是找公司好LLMs#xff1a;LangChain-Chatchat(一款可实现本地知识库问答应用)的简介、安装、使用方法之详细攻略 目录 LangChain-Chatchat的简介 1、原理图解 2、文档处理实现流程 1、模型支持 (1)、LLM 模型支持 (2)、Embedding 模型支持 LangChain-Chatchat的安装 1、镜像部署…LLMsLangChain-Chatchat(一款可实现本地知识库问答应用)的简介、安装、使用方法之详细攻略 目录 LangChain-Chatchat的简介 1、原理图解 2、文档处理实现流程 1、模型支持 (1)、LLM 模型支持 (2)、Embedding 模型支持 LangChain-Chatchat的安装 1、镜像部署 T1、基于AutoDL平台云端部署镜像 第一步注册AutoDL并选择租赁合适的服务器套餐(按时计费) 第二步创建镜像 T2、Docker 镜像本地部署 2、开发部署 第一步配置开发环境 第二步下载模型至本地 第三步设置配置项 第四步知识库初始化与迁移 第五步启动 API 服务或 Web UI (1)、启动 LLM 服务 T1、基于多进程脚本 llm_api.py 启动 LLM 服务 T2、基于命令行脚本 llm_api_stale.py 启动 LLM 服务 T3、PEFT 加载(包括lora,p-tuning,prefix tuning, prompt tuning,ia等) (2)、启动 API 服务 (3)、启动 Web UI 服务 (3.1)、Web UI 对话界面 (3.2)、Web UI 知识库管理页面 (4)、一键启动 3、安装过程中常见问题集锦 LangChain-Chatchat的使用方法 LangChain-Chatchat的简介 2023年8月14日原 Langchain-ChatGLM 项目已正式发布 v0.2.0 版本并正式更名为 Langchain-Chatchat。是一款基于 Langchain 与 ChatGLM 等大语言模型的本地知识库问答应用实现。该项目已重构为使用 FastChat Langchain FastAPI Streamlit 构建的基于 Langchain 与 ChatGLM 等大语言模型的本地知识库问答应用实现。        这是一种利用 langchain 思想实现的基于本地知识库的问答应用目标期望建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。但是本项目未涉及微调、训练过程但可利用微调或训练对本项目效果进行优化。 受 GanymedeNil 的项目 document.ai 和 AlexZhangji 创建的 ChatGLM-6B Pull Request 启发建立了全流程可使用开源模型实现的本地知识库问答应用。 本项目的最新版本中通过使用 FastChat 接入 Vicuna, Alpaca, LLaMA, Koala, RWKV 等模型依托于 langchain 框架支持通过基于 FastAPI 提供的 API 调用服务或使用基于 Streamlit 的 WebUI 进行操作。 依托于本项目支持的开源 LLM 与 Embedding 模型本项目可实现全部使用开源模型离线私有部署。与此同时本项目也支持 OpenAI GPT API 的调用并将在后续持续扩充对各类模型及模型 API 的接入。 本项目实现原理如下图所示过程包括加载文件 → 读取文本 → 文本分割 → 文本向量化 → 问句向量化 → 在文本向量中匹配出与问句向量最相似的 top k个 → 匹配出的文本作为上下文和问题一起添加到 prompt中 → 提交给 LLM生成回答。 GitHub地址GitHub - chatchat-space/Langchain-Chatchat: Langchain-Chatchat (formerly langchain-ChatGLM), local knowledge based LLM (like ChatGLM) QA app with langchain 基于 Langchain 与 ChatGLM 等语言模型的本地知识库问答 1、原理图解 2、文档处理实现流程 1、模型支持 本项目中默认使用的 LLM 模型为 THUDM/chatglm2-6b默认使用的 Embedding 模型为 moka-ai/m3e-base 为例。 (1)、LLM 模型支持 (2)、Embedding 模型支持 LangChain-Chatchat的安装 1、镜像部署 T1、基于AutoDL平台云端部署镜像 AutoDL镜像云端部署 AutoDL 镜像中 v5 版本所使用代码已更新至本项目 0.2.0 版本。 第一步注册AutoDL并选择租赁合适的服务器套餐(按时计费) 官方地址AutoDL算力云 | 弹性、好用、省钱。租GPU就上AutoDL 第二步创建镜像 T2、Docker 镜像本地部署 Docker 镜像本地部署 Docker 镜像 首先定位到下载的项目文件夹下 其次一行命令运行 Docker docker run -d --gpus all -p 80:8501 registry.cn-beijing.aliyuncs.com/chatchat/chatchat:0.2.0 Docker 镜像地址: registry.cn-beijing.aliyuncs.com/chatchat/chatchat:0.2.0) docker run -d --gpus all -p 80:8501 registry.cn-beijing.aliyuncs.com/chatchat/chatchat:0.2.0 该版本镜像大小 33.9GB使用 v0.2.0以 nvidia/cuda:12.1.1-cudnn8-devel-ubuntu22.04 为基础镜像 该版本内置一个 embedding 模型m3e-large内置 chatglm2-6b-32k 该版本目标为方便一键部署使用请确保您已经在Linux发行版上安装了NVIDIA驱动程序 请注意您不需要在主机系统上安装CUDA工具包但需要安装 NVIDIA Driver 以及 NVIDIA Container Toolkit请参考安装指南 首次拉取和启动均需要一定时间首次启动时请参照下图使用 docker logs -f container id 查看日志 如遇到启动过程卡在 Waiting.. 步骤建议使用 docker exec -it container id bash 进入 /logs/ 目录查看对应阶段日志 2、开发部署 第一步配置开发环境 软件需求 本项目已在 Python 3.8.1 - 3.10CUDA 11.7 环境下完成测试。已在 Windows、ARM 架构的 macOS、Linux 系统中完成测试。 环境检查 # 首先确信你的机器安装了 Python 3.8 - 3.10 版本 $ python --version Python 3.8.13 # 如果低于这个版本可使用conda安装环境 $ conda create -p /your_path/env_name python3.8 # 激活环境 $ source activate /your_path/env_name # 或conda安装不指定路径, 注意以下都将/your_path/env_name替换为env_name $ conda create -n env_name python3.8 $ conda activate env_name # Activate the environment # 更新py库 $ pip3 install --upgrade pip # 关闭环境 $ source deactivate /your_path/env_name # 删除环境 $ conda env remove -p  /your_path/env_name 项目依赖 # 拉取仓库 $ git clone https://github.com/imClumsyPanda/langchain-ChatGLM.git # 进入目录 $ cd langchain-ChatGLM # 安装全部依赖 $ pip install -r requirements.txt # 默认依赖包括基本运行环境FAISS向量库。如果要使用 milvus/pg_vector 等向量库请将 requirements.txt 中相应依赖取消注释再安装。 此外为方便用户 API 与 webui 分离运行可单独根据运行需求安装依赖包。 T1、如果只需运行 API可执行 $ pip install -r requirements_api.txt # 默认依赖包括基本运行环境FAISS向量库。如果要使用 milvus/pg_vector 等向量库请将 requirements.txt 中相应依赖取消注释再安装。 T2、如果只需运行 WebUI可执行 $ pip install -r requirements_webui.txt 注使用 langchain.document_loaders.UnstructuredFileLoader 进行 .docx 等格式非结构化文件接入时可能需要依据文档进行其他依赖包的安装请参考 langchain 文档。 请注意 0.2.0 及更新版本的依赖包与 0.1.x 版本依赖包可能发生冲突强烈建议新建环境后重新安装依赖包。 第二步下载模型至本地 如需在本地或离线环境下运行本项目需要首先将项目所需的模型下载至本地通常开源 LLM 与 Embedding 模型可以从 HuggingFace 下载。 以本项目中默认使用的 LLM 模型 THUDM/chatglm2-6b 与 Embedding 模型 moka-ai/m3e-base 为例 下载模型需要先安装Git LFS然后运行 $ git clone THUDM/chatglm2-6b · Hugging Face $ git clone moka-ai/m3e-base · Hugging Face 第三步设置配置项 复制模板文件 复制模型相关参数配置模板文件 configs/model_config.py.example 存储至项目路径下 ./configs 路径下并重命名为 model_config.py。 复制服务相关参数配置模板文件 configs/server_config.py.example 存储至项目路径下 ./configs 路径下并重命名为 server_config.py。 检查模型参数 在开始执行 Web UI 或命令行交互前请先检查 configs/model_config.py 和 configs/server_config.py 中的各项模型参数设计是否符合需求 请确认已下载至本地的 LLM 模型本地存储路径写在 llm_model_dict 对应模型的 local_model_path 属性中如: llm_model_dict{                 chatglm2-6b: {                         local_model_path: /Users/xxx/Downloads/chatglm2-6b,                         api_base_url: http://localhost:8888/v1,  # name修改为 FastChat 服务中的api_base_url                         api_key: EMPTY                     },                 } 请确认已下载至本地的 Embedding 模型本地存储路径写在 embedding_model_dict 对应模型位置如 embedding_model_dict {                         m3e-base: /Users/xxx/Downloads/m3e-base,                        } 第四步知识库初始化与迁移 当前项目的知识库信息存储在数据库中在正式运行项目之前请先初始化数据库我们强烈建议您在执行操作前备份您的知识文件。 老用户 如果您是从 0.1.x 版本升级过来的用户针对已建立的知识库请确认知识库的向量库类型、Embedding 模型 configs/model_config.py 中默认设置一致如无变化只需以下命令将现有知识库信息添加到数据库即可 $ python init_database.py 新用户 如果您是第一次运行本项目知识库尚未建立或者配置文件中的知识库类型、嵌入模型发生变化需要以下命令初始化或重建知识库 $ python init_database.py --recreate-vs 第五步启动 API 服务或 Web UI (1)、启动 LLM 服务 如需使用开源模型进行本地部署需首先启动 LLM 服务启动方式分为三种 T1、基于多进程脚本 llm_api.py 启动 LLM 服务 T2、基于命令行脚本 llm_api_stale.py 启动 LLM 服务 T3、PEFT 加载 三种方式只需选择一个即可具体操作方式详见 5.1.1 - 5.1.3。 如果启动在线的API服务如 OPENAI 的 API 接口则无需启动 LLM 服务即 5.1 小节的任何命令均无需启动。 T1、基于多进程脚本 llm_api.py 启动 LLM 服务 启动服务 在项目根目录下执行 server/llm_api.py 脚本启动 LLM 模型服务 $ python server/llm_api.py 多卡加载 项目支持多卡加载需在 llm_api.py 中修改 create_model_worker_app 函数中修改如下三个参数: gpusNone, num_gpus1, max_gpu_memory20GiB 其中gpus 控制使用的显卡的ID如果 0,1; num_gpus 控制使用的卡数; max_gpu_memory 控制每个卡使用的显存容量。 T2、基于命令行脚本 llm_api_stale.py 启动 LLM 服务 注意事项 注意: llm_api_stale.py脚本原生仅适用于linux,mac设备需要安装对应的linux命令,win平台请使用wls; 加载非默认模型需要用命令行参数--model-path-address指定模型不会读取model_config.py配置; 启动服务 在项目根目录下执行 server/llm_api_stale.py 脚本启动 LLM 模型服务 $ python server/llm_api_stale.py 多worker启动 该方式支持启动多个worker示例启动方式 $ python server/llm_api_stale.py --model-path-address model1host1port1 model2host2port2 解决端口占用 如果出现server端口占用情况需手动指定server端口,并同步修改model_config.py下对应模型的base_api_url为指定端口: $ python server/llm_api_stale.py --server-port 8887 多卡加载 如果要启动多卡加载示例命令如下 $ python server/llm_api_stale.py --gpus 0,1 --num-gpus 2 --max-gpu-memory 10GiB 停止服务 注以如上方式启动LLM服务会以nohup命令在后台运行 FastChat 服务如需停止服务可以运行如下命令 $ python server/llm_api_shutdown.py --serve all 亦可单独停止一个 FastChat 服务模块可选 [all, controller, model_worker, openai_api_server] T3、PEFT 加载(包括lora,p-tuning,prefix tuning, prompt tuning,ia等) 简介 本项目基于 FastChat 加载 LLM 服务故需以 FastChat 加载 PEFT 路径即保证路径名称里必须有 peft 这个词配置文件的名字为 adapter_config.jsonpeft 路径下包含 model.bin 格式的 PEFT 权重。 执行代码 示例代码如下 PEFT_SHARE_BASE_WEIGHTStrue python3 -m fastchat.serve.multi_model_worker \     --model-path /data/chris/peft-llama-dummy-1 \     --model-names peft-dummy-1 \     --model-path /data/chris/peft-llama-dummy-2 \     --model-names peft-dummy-2 \     --model-path /data/chris/peft-llama-dummy-3 \     --model-names peft-dummy-3 \     --num-gpus 2 详见 FastChat 相关 PR (2)、启动 API 服务 简介 本地部署情况下按照 5.1 节启动 LLM 服务后再执行 server/api.py 脚本启动 API 服务 在线调用API服务的情况下直接执执行 server/api.py 脚本启动 API 服务 调用命令 调用命令示例 $ python server/api.py 启动 API 服务后可访问 localhost:7861 或 {API 所在服务器 IP}:7861 FastAPI 自动生成的 docs 进行接口查看与测试。 FastAPI docs 界面     (3)、启动 Web UI 服务 T1、默认启动 按照 5.2 节启动 API 服务后执行 webui.py 启动 Web UI 服务默认使用端口 8501 $ streamlit run webui.py T2、主题色启动 使用 Langchain-Chatchat 主题色启动 Web UI 服务默认使用端口 8501 $ streamlit run webui.py --theme.base light --theme.primaryColor #165dff --theme.secondaryBackgroundColor #f5f5f5 --theme.textColor #000000 T3、指定端口号启动 或使用以下命令指定启动 Web UI 服务并指定端口号 $ streamlit run webui.py --server.port 666 (3.1)、Web UI 对话界面 (3.2)、Web UI 知识库管理页面 (4)、一键启动 一键启动脚本 更新一键启动脚本 startup.py,一键启动所有 Fastchat 服务、API 服务、WebUI 服务示例代码 $ python startup.py --all-webui 关闭运行服务 并可使用 Ctrl C 直接关闭所有运行服务。 可选参数包括 --all-webui, --all-api, --llm-api, --controller, --openai-api, --model-worker, --api, --webui其中 --all-webui 为一键启动 WebUI 所有依赖服务 --all-api 为一键启动 API 所有依赖服务 --llm-api 为一键启动 Fastchat 所有依赖的 LLM 服务 --openai-api 为仅启动 FastChat 的 controller 和 openai-api-server 服务 其他为单独服务启动选项。 若想指定非默认模型需要用 --model-name 选项示例 $ python startup.py --all-webui --model-name Qwen-7B-Chat 注意事项 注意 1. startup 脚本用多进程方式启动各模块的服务可能会导致打印顺序问题请等待全部服务发起后再调用并根据默认或指定端口调用服务默认 LLM API 服务端口127.0.0.1:8888,默认 API 服务端口127.0.0.1:7861,默认 WebUI 服务端口本机IP8501) 2.服务启动时间示设备不同而不同约 3-10 分钟如长时间没有启动请前往 ./logs目录下监控日志定位问题。 3、安装过程中常见问题集锦 https://github.com/chatchat-space/Langchain-Chatchat/blob/master/docs/FAQ.md LangChain-Chatchat的使用方法 更新中……
http://www.tj-hxxt.cn/news/229741.html

相关文章:

  • j2ee大型网站开发框架屏山县龙华镇中心村建设招标网站
  • 简单电商网站模板下载网站开发多少工资
  • 做哪个网站最简单英语写作网站
  • 网站安全评估报告wordpress 位置地图
  • 撰写网站建设策划书范文网站面包屑怎么做
  • 做cad室内平面图的家具素材网站Wordpress如何调用搜索框
  • 建设网站的方案江苏外贸网站建设推广
  • 2018做网站前景如何网站开发怎么让别人看到
  • 安徽富通建设有限公司网站百度账号管家
  • 农产品网站建设主要工作学做网站用谁的书
  • 广州站在哪个区aliyun oss wordpress
  • 搭建视频网站WordPress占资源多
  • 常宁网站app开发 网站建设
  • 优秀网站下载wordpress更换主题出错
  • 移动app做的好的网站wordpress php 模板修改
  • 怎么制作购物网站建设合同施工合同示范文本
  • 网站开发技术应用领域2024的新闻有哪些
  • 怎样用word做网站扫图片识别图片原图
  • 哈尔滨网站建站模板中国建行个人登录入口
  • 我要看一集片做网站外贸商城网站系统
  • 珠宝网站建商台北wordpress 协议
  • asp网站后台产品管理中增加一个功能怎样修改连云港建设网站公司
  • wordpress 怎么添加网站备案信息购物app开发
  • 泰安诚信的企业建站公司在什么网站做调查问卷
  • 做网站找谷谷网络比较好wordpress首页添加图片不显示
  • 六安网站自然排名优化价格市场调研方案怎么写
  • 开发网站如何选需要建设银行平潭招聘网站
  • 做美食网站的图片青海建设厅质检站网站
  • 找人做网站大概多少钱网站防止攻击
  • 网站建设销售前景修改wordpress 字体