南通优化网站,十大网游人气排行榜,wordpress插件库,长寿网站建设公司前言 本次安装的版本为 fastgpt:v4.8.8-fix2。 最新版本fastgpt:v4.8.20-fix2 问答时报错#xff0c;本着跑通先使用起来#xff0c;就没有死磕下去#xff0c;后面bug解了再进行记录。 github连接#xff1a;https://github.com/labring/FastGPT fastgpt 安装说明… 前言 本次安装的版本为 fastgpt:v4.8.8-fix2。 最新版本fastgpt:v4.8.20-fix2 问答时报错本着跑通先使用起来就没有死磕下去后面bug解了再进行记录。 github连接https://github.com/labring/FastGPT fastgpt 安装说明https://doc.tryfastgpt.ai/docs/development/docker/ 1 fastgpt 工程部署 1.1 fastgpt的简介 FastGPT 是一个基于大型语言模型LLM的知识库问答系统专注于高效对话和任务处理。以下是关于 FastGPT 的详细介绍 【功能】 专属 AI 客服通过导入文档或问答对进行训练AI 模型可以根据文档内容以交互式对话方式回答问题。可视化工作流编排基于 Flow 模块用户可以设计复杂的工作流实现自动化和智能化的处理流程。自动数据预处理支持多种文档格式如 Word、PDF、Excel、Markdown 等的导入自动完成文本预处理、向量化和问答分割节省手动训练时间。强大的 API 集成API 接口对齐 OpenAI 官方接口可以轻松集成到企业微信、公众号、飞书等平台。多模型兼容性支持 GPT、Claude、文心一言等多种 LLM 模型。 【特点】 高效性经过优化能够快速生成高质量内容适合实时性要求较高的场景。开源性遵循附加条件的 Apache License 2.0 开源协议用户可以进行二次开发。个性化与定制化可以根据具体业务需求定制训练调整语言风格、语气或行业专用术语。数据处理能力强能够整合大量非结构化数据自动优化答案质量和查询效率。用户友好对话流畅具备自然的语义理解能力适合长对话和复杂任务。 1.2 工程所需前置环境 服务器的配置ubuntu 22.04、Tesla V100-SXM2-32GB、CUDA Version12.2 lsb_release -a
nvidia-smifastgpt的安装和使用的前提环境 docker 的安装参考 【环境配置】ubuntu中 Docker的安装LLMs 的语言大模型deepseek-r1:32b。参考链接 【大模型】Ubuntu下安装ollamaDeepSseek-R1:32b的本地部署和运行向量模型m3e-large。参考链接 【大模型】Xinference的安装和部署。当然向量模型也可以选择ollama启动bge-large模型。 1.3 fastgpt 的配置文件 yml 文件和 json 文件的最新版本下载参考链接 https://doc.tryfastgpt.ai/docs/development/docker/ 中给出了下载命令如下。 mkdir fastgptcd fastgpt
curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json# pgvector 版本(测试推荐简单快捷)
curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-pgvector.yml
# milvus 版本
# curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-milvus.yml
# zilliz 版本
# curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-zilliz.yml个人使用该版本在使用时报错。所以这里直接给出 fastgpt:v4.8.8-fix2 使用的 yml 和json 的文件将其放置在路径fastgpt下。 【config.json】 文件内容如下。 其中 llmModels中填写自己调用的chat模型的信息。直接复制已有的内容然后修改 model 和 name 的内容。vectorModels 中填写自己调用的向量模型。与上相同直接复制已有的内容然后修改 model 和 name 的内容。 {feConfigs: {lafEnv: https://laf.dev},systemEnv: {vectorMaxProcess: 15,qaMaxProcess: 15,pgHNSWEfSearch: 100},llmModels: [{model: deepseek-r1:32b,name: deepseek-r1:32b,avatar: /imgs/model/deepseek.svg,maxContext: 128000,maxResponse: 128000,quoteMaxToken: 32000,maxTemperature: 1.2,charsPointsPrice: 0,censor: false,vision: false,datasetProcess: true,usedInClassify: true,usedInExtractFields: true,usedInToolCall: true,usedInQueryExtension: true,toolChoice: false,functionCall: false,customCQPrompt: ,customExtractPrompt: ,defaultSystemChatPrompt: ,defaultConfig: {}}],vectorModels: [// 如果需要多语言支持和高精度语义检索推荐 BGE-M3。// 如果主要处理中文文本且资源受限推荐 M3E。// 如果需要中英文混合处理且对精度要求较高推荐 BGE-Large。{model: bge-large:latest,name: bge-large:latest,charsPointsPrice: 0,defaultToken: 256,maxToken: 512,weight: 100,defaultConfig: {},dbConfig: {},queryConfig: {}},{model: m3e-large,name: m3e-large,charsPointsPrice: 0,defaultToken: 256,maxToken: 512,weight: 100,defaultConfig: {},dbConfig: {},queryConfig: {}}],reRankModels: [],audioSpeechModels: [],whisperModel: [
]}【docker-compose.yml】 内容如下 如果原本的镜像下载过慢或者超时将其注释再把下一行的阿里云镜像解注释。 # 数据库的默认账号和密码仅首次运行时设置有效
# 如果修改了账号密码记得改数据库和项目连接参数别只改一处~
# 该配置文件只是给快速启动测试使用。正式使用记得务必修改账号密码以及调整合适的知识库参数共享内存等。
# 如何无法访问 dockerhub 和 git可以用阿里云阿里云没有arm包# version: 3.3
services:# dbpg:image: pgvector/pgvector:0.7.0-pg15 # docker hub# image: registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.7.0 # 阿里云container_name: pgrestart: alwaysports: # 生产环境建议不要暴露- 5432:5432networks:- fastgptenvironment:# 这里的配置只有首次运行生效。修改后重启镜像是不会生效的。需要把持久化数据删除再重启才有效果- POSTGRES_USERusername- POSTGRES_PASSWORDpassword- POSTGRES_DBpostgresvolumes:- ./pg/data:/var/lib/postgresql/datamongo:image: mongo:5.0.18 # dockerhub# image: registry.cn-hangzhou.aliyuncs.com/fastgpt/mongo:5.0.18 # 阿里云# image: mongo:4.4.29 # cpu不支持AVX时候使用container_name: mongorestart: alwaysports:- 27017:27017networks:- fastgptcommand: mongod --keyFile /data/mongodb.key --replSet rs0environment:- MONGO_INITDB_ROOT_USERNAMEmyusername- MONGO_INITDB_ROOT_PASSWORDmypasswordvolumes:- ./mongo/data:/data/dbentrypoint:- bash- -c- |openssl rand -base64 128 /data/mongodb.keychmod 400 /data/mongodb.keychown 999:999 /data/mongodb.keyecho const isInited rs.status().ok 1if(!isInited){rs.initiate({_id: rs0,members: [{ _id: 0, host: mongo:27017 }]})} /data/initReplicaSet.js# 启动MongoDB服务exec docker-entrypoint.sh $$ # 等待MongoDB服务启动until mongo -u myusername -p mypassword --authenticationDatabase admin --eval print(waited for connection) /dev/null 21; doecho Waiting for MongoDB to start...sleep 2done# 执行初始化副本集的脚本mongo -u myusername -p mypassword --authenticationDatabase admin /data/initReplicaSet.js# 等待docker-entrypoint.sh脚本执行的MongoDB服务进程wait $$!# fastgptsandbox:container_name: sandboximage: ghcr.io/labring/fastgpt-sandbox:v4.8.20-fix2 # git# image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-sandbox:v4.8.20-fix2 # 阿里云networks:- fastgptrestart: alwaysfastgpt:container_name: fastgptimage: ghcr.io/labring/fastgpt:v4.8.8-fix2 # git# image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.20-fix2 # 阿里云ports:- 3000:3000networks:- fastgptdepends_on:- mongo- pg- sandboxrestart: alwaysenvironment:# 前端访问地址: http://localhost:3000- FE_DOMAINhttp://localhost:3000# root 密码用户名为: root。如果需要修改 root 密码直接修改这个环境变量并重启即可。- DEFAULT_ROOT_PSW1234# AI模型的API地址哦。务必加 /v1。这里默认填写了OneApi的访问地址。- OPENAI_BASE_URLhttp://oneapi:3000/v1# AI模型的API Key。这里默认填写了OneAPI的快速默认key测试通后务必及时修改- CHAT_API_KEYsk-fastgpt# 数据库最大连接数- DB_MAX_LINK30# 登录凭证密钥- TOKEN_KEYany# root的密钥常用于升级时候的初始化请求- ROOT_KEYroot_key# 文件阅读加密- FILE_TOKEN_KEYfiletoken# MongoDB 连接参数. 用户名myusername,密码mypassword。- MONGODB_URImongodb://myusername:mypasswordmongo:27017/fastgpt?authSourceadmin# pg 连接参数- PG_URLpostgresql://username:passwordpg:5432/postgres# sandbox 地址- SANDBOX_URLhttp://sandbox:3000# 日志等级: debug, info, warn, error- LOG_LEVELinfo- STORE_LOG_LEVELwarn# 工作流最大运行次数- WORKFLOW_MAX_RUN_TIMES1000# 批量执行节点最大输入长度- WORKFLOW_MAX_LOOP_TIMES100# 自定义跨域不配置时默认都允许跨域多个域名通过逗号分割- ALLOWED_ORIGINS# 是否开启IP限制默认不开启- USE_IP_LIMITfalsevolumes:- ./config.json:/app/data/config.json# oneapimysql:# image: registry.cn-hangzhou.aliyuncs.com/fastgpt/mysql:8.0.36 # 阿里云image: mysql:8.0.36container_name: mysqlrestart: alwaysports:- 3306:3306networks:- fastgptcommand: --default-authentication-pluginmysql_native_passwordenvironment:# 默认root密码仅首次运行有效MYSQL_ROOT_PASSWORD: oneapimmysqlMYSQL_DATABASE: oneapivolumes:- ./mysql:/var/lib/mysqloneapi:container_name: oneapiimage: ghcr.io/songquanpeng/one-api:v0.6.7# image: registry.cn-hangzhou.aliyuncs.com/fastgpt/one-api:v0.6.6 # 阿里云ports:- 3001:3000depends_on:- mysqlnetworks:- fastgptrestart: alwaysenvironment:# mysql 连接参数- SQL_DSNroot:oneapimmysqltcp(mysql:3306)/oneapi# 登录凭证加密密钥- SESSION_SECREToneapikey# 内存缓存- MEMORY_CACHE_ENABLEDtrue# 启动聚合更新减少数据交互频率- BATCH_UPDATE_ENABLEDtrue# 聚合更新时长- BATCH_UPDATE_INTERVAL10# 初始化的 root 密钥建议部署完后更改否则容易泄露- INITIAL_ROOT_TOKENfastgptvolumes:- ./oneapi:/data
networks:fastgpt:1.4 启动容器 在路径fastgpt下的终端运行 docker compose up -d待结束后查看容器情况。结果如下则说明工程正确启动。 【过程中可能遇到错误】 现象端口 3306 被占用 问题查看使用下面命令查看端口被占用情况。 发现端口 3306 被本地的 mysqld 进程PID 1203占用了。这是一个独立的 MySQL 服务运行在宿主机上而不是 Docker 容器中。 sudo lsof -i :3306解决停止宿主机上的 MySQL 服务。然后重新启动容器 sudo systemctl stop mysql
# sudo kill -9 1203 或者直接杀掉进程docker compose up -doneapi没有启动起来 该问题个人没有遇到。但较多人遇到过这里记录下解决方法 # 等待10sOneAPI第一次总是要重启几次才能连上Mysql
sleep 10
# 重启一次oneapi(由于OneAPI的默认Key有点问题不重启的话会提示找不到渠道临时手动重启一次解决)
docker restart oneapi2 oneapi 配置 2.1 oneapi 的简介 OneAPI 是一个统一的接口管理与分发系统旨在通过提供一个单一、统一的接口简化对多个后端服务或数据源的访问。 它具备以下核心功能和特点 【核心功能】 集中式 API 密钥管理 提供集中式的 API 密钥管理和二次分发功能确保安全性和灵活性。 支持令牌的过期时间、额度和 IP 范围管理。多系统功能整合 将来自不同系统的功能和服务整合在一起开发者只需与一个接口交互无需分别处理多个不同的 API。 支持多种主流 AI 模型和服务包括 OpenAI、百度文心一言、阿里通义千问等。简化开发与管理 简化开发过程提高开发效率。 便于维护和管理支持动态更新和跨平台同步。 【特点】 一键部署 打包成单个可执行文件提供 Docker 镜像实现一键部署和开箱即用的便捷体验。 支持多种部署方式包括本地部署、Docker 部署和面板部署。适用场景 适用于企业、开发者和研究者简化多 AI 服务的接入和管理。 支持负载均衡、流式传输和多机部署提升系统可用性和性能。 2.2 oneapi 的配置 在浏览器访问 http://127.0.0.1:3001使用默认账号 root 和密码 123456 登录。 2.2.1 oneapi 的渠道 OneAPI 的渠道管理功能允许用户将不同的大模型 API如 OpenAI、百度文心一言、阿里通义千问等统一接入到 OneAPI 平台中。每个渠道对应一个 API Key用户可以通过以下步骤添加和管理渠道。 【ollama部署的模型 的oneapi的渠道配置】 在控制台中点击【渠道】选项卡选择【添加新的渠道】。 然后界面如下图 【类型】选择对应的模型类型 ollama。【名称】自定义渠道名称。这里填写了【ollama】。【模型】选择或填入支持的模型。若是填入的方式一定注意名称的正确填写可使用命令【ollama list】查看ollama下载的模型。这里填写【deepseek-r1:32b、bge-large:latest】 【密钥】这里是本地部署的模型密钥随便填写。【代理】这里填写部署ollama模型的地址。【提交】点击“提交”完成渠道添加。 【测试】如下图配置正确的话点击绿色框的测试界面会弹出 “测试成功” 的字样。 需要注意的是如果仅添加向量模型这里是无法测试通的。 【xinference 部署的模型 的oneapi的渠道配置】 2.2.2 oneapi 的令牌 复制这里的令牌。 3 fastgpt 的基本使用 3.1 fastgpt 的重启 在 文件 docker-compose.yml 中搜索 CHAT_API_KEY将前面复制的令牌粘贴到这里 # AI模型的API Key。这里默认填写了OneAPI的快速默认key测试通后务必及时修改- CHAT_API_KEYsk-fastgptsk-enxd9BewOzi0eaoGB2AdD5BdEf834a5e9b0e269780703dD8重启容器docker compose down
docker compose up -d重启了后就可以在服务器中访问 http://127.0.0.1:3000使用默认账号 root 和密码 1234 登录。 登录后界面如下图。功能测试主要在左侧的【工作台】【知识库】。操作流程如下。 3.2 知识库 新建知识库【新建】、【知识库】、【通用知识库】、命名、选择配置好的向量模型。 成功后界面左侧【数据集】【搜索测试】【配置】三项。 【数据集】界面中右上角【新建/导入】、这里测试【文本数据集】、【本地文件】… 后续的操作流程如下图所示 文件添加成功后可以点进文件名称如上图。点进去后可以看到文档分割成块后的数据。通过这里的数据可以看到分割的是否OK。 然后在【搜索测试】中可以测试 问题检索出好坏。在下图中【语义检索】中可以进一步勾选这里默认不变。 在【配置】中可以修改模型的选择。 3.3 工作台 创建一个【简易应用】。操作如下图 配置关联的知识库然后进行问答。如下图 然后进行 应用发布点击右上角的【发布】 点击【发布渠道】界面然后【创建新链接】、【开始使用】、【复制链接】在浏览器中打开。 链接的界面下进行问答。 若想其他电脑都能访问则需完成 在服务启动时绑定到公网IP开放防火墙端口等操作。
文章转载自： http://www.morning.tdmgs.cn.gov.cn.tdmgs.cn http://www.morning.jyyw.cn.gov.cn.jyyw.cn http://www.morning.dyfmh.cn.gov.cn.dyfmh.cn http://www.morning.jcffp.cn.gov.cn.jcffp.cn http://www.morning.mtxrq.cn.gov.cn.mtxrq.cn http://www.morning.jqmmf.cn.gov.cn.jqmmf.cn http://www.morning.snccl.cn.gov.cn.snccl.cn http://www.morning.flxgx.cn.gov.cn.flxgx.cn http://www.morning.lwbhw.cn.gov.cn.lwbhw.cn http://www.morning.wcqxj.cn.gov.cn.wcqxj.cn http://www.morning.yrngx.cn.gov.cn.yrngx.cn http://www.morning.zwxfj.cn.gov.cn.zwxfj.cn http://www.morning.sffkm.cn.gov.cn.sffkm.cn http://www.morning.bby45.cn.gov.cn.bby45.cn http://www.morning.rgzc.cn.gov.cn.rgzc.cn http://www.morning.spftz.cn.gov.cn.spftz.cn http://www.morning.rtsd.cn.gov.cn.rtsd.cn http://www.morning.rqmqr.cn.gov.cn.rqmqr.cn http://www.morning.tkfnp.cn.gov.cn.tkfnp.cn http://www.morning.lfbzg.cn.gov.cn.lfbzg.cn http://www.morning.ey3h2d.cn.gov.cn.ey3h2d.cn http://www.morning.qsy37.cn.gov.cn.qsy37.cn http://www.morning.pzlhq.cn.gov.cn.pzlhq.cn http://www.morning.dxhnm.cn.gov.cn.dxhnm.cn http://www.morning.jbtlf.cn.gov.cn.jbtlf.cn http://www.morning.rhqn.cn.gov.cn.rhqn.cn http://www.morning.tkzrh.cn.gov.cn.tkzrh.cn http://www.morning.grfhd.cn.gov.cn.grfhd.cn http://www.morning.bchgl.cn.gov.cn.bchgl.cn http://www.morning.hgsylxs.com.gov.cn.hgsylxs.com http://www.morning.xqjz.cn.gov.cn.xqjz.cn http://www.morning.qxljc.cn.gov.cn.qxljc.cn http://www.morning.skscy.cn.gov.cn.skscy.cn http://www.morning.skbhl.cn.gov.cn.skbhl.cn http://www.morning.kgjyy.cn.gov.cn.kgjyy.cn http://www.morning.huxinzuche.cn.gov.cn.huxinzuche.cn http://www.morning.fgppj.cn.gov.cn.fgppj.cn http://www.morning.3dcb8231.cn.gov.cn.3dcb8231.cn http://www.morning.rldph.cn.gov.cn.rldph.cn http://www.morning.pzrnf.cn.gov.cn.pzrnf.cn http://www.morning.sh-wj.com.cn.gov.cn.sh-wj.com.cn http://www.morning.ykrkb.cn.gov.cn.ykrkb.cn http://www.morning.kbynw.cn.gov.cn.kbynw.cn http://www.morning.daxifa.com.gov.cn.daxifa.com http://www.morning.ljhnn.cn.gov.cn.ljhnn.cn http://www.morning.mlgsc.com.gov.cn.mlgsc.com http://www.morning.rkfh.cn.gov.cn.rkfh.cn http://www.morning.bmhc.cn.gov.cn.bmhc.cn http://www.morning.nsppc.cn.gov.cn.nsppc.cn http://www.morning.nbnq.cn.gov.cn.nbnq.cn http://www.morning.dbqg.cn.gov.cn.dbqg.cn http://www.morning.hsrpr.cn.gov.cn.hsrpr.cn http://www.morning.mcqhb.cn.gov.cn.mcqhb.cn http://www.morning.npgwb.cn.gov.cn.npgwb.cn http://www.morning.ldzss.cn.gov.cn.ldzss.cn http://www.morning.gsrh.cn.gov.cn.gsrh.cn http://www.morning.jngdh.cn.gov.cn.jngdh.cn http://www.morning.guangda11.cn.gov.cn.guangda11.cn http://www.morning.pqqhl.cn.gov.cn.pqqhl.cn http://www.morning.hbhnh.cn.gov.cn.hbhnh.cn http://www.morning.bkwd.cn.gov.cn.bkwd.cn http://www.morning.trhlb.cn.gov.cn.trhlb.cn http://www.morning.qnyf.cn.gov.cn.qnyf.cn http://www.morning.lfcfn.cn.gov.cn.lfcfn.cn http://www.morning.jgcxh.cn.gov.cn.jgcxh.cn http://www.morning.kyzxh.cn.gov.cn.kyzxh.cn http://www.morning.grpbt.cn.gov.cn.grpbt.cn http://www.morning.tbkqs.cn.gov.cn.tbkqs.cn http://www.morning.kpcxj.cn.gov.cn.kpcxj.cn http://www.morning.sbrjj.cn.gov.cn.sbrjj.cn http://www.morning.rwmq.cn.gov.cn.rwmq.cn http://www.morning.skfkx.cn.gov.cn.skfkx.cn http://www.morning.qjtbt.cn.gov.cn.qjtbt.cn http://www.morning.cjqqj.cn.gov.cn.cjqqj.cn http://www.morning.fkwgk.cn.gov.cn.fkwgk.cn http://www.morning.mqnbm.cn.gov.cn.mqnbm.cn http://www.morning.jrhcp.cn.gov.cn.jrhcp.cn http://www.morning.smdkk.cn.gov.cn.smdkk.cn http://www.morning.lwsct.cn.gov.cn.lwsct.cn http://www.morning.qlckc.cn.gov.cn.qlckc.cn
