网站倍攻击,网站建设实训不足,中国公司排行榜,百度个人网站建设“老板说#xff0c;这个项目得上Deepseek,还得再做个知识库...” 还有哪个开发者#xff0c;最近没听到这样的抱怨#xff1f; Deepseek爆火#xff0c;推理端的智能提速#xff0c;算力成本急剧下降#xff0c;让不少原本不想用大模型#xff0c;用不起大模型的企业这个项目得上Deepseek,还得再做个知识库...” 还有哪个开发者最近没听到这样的抱怨 Deepseek爆火推理端的智能提速算力成本急剧下降让不少原本不想用大模型用不起大模型的企业一夕之间全部拥抱AI开启了降本增效。在这个过程中对于大部分拥有优质私有数据敏感数据的企业来说如果不想数据泄露那么部署本地知识库就成了拥抱大模型的必经之路。 可是当你真正开始调研的时候就会发现这事儿没那么简单 想用开源的蒸馏版模型效果差强人意连基本的问答准确度都难以保证。 比如前不久我们推出了基于Deepseek 7bMilvus的本地部署教程就有不少开发者反应7B版本即使加上了向量数据库也依然效果差强人意。 可是上满血版的大模型满血的R1参数有671B即使已经是FP16精度需要的显存也高达1342GB换算成80G的A100也需要足足17张。而个人电脑即使采用顶配的24GB的4090需要的数量也足足高达56张MoE量化会降低实际显存需求…… 很显然别说个人就是一些中小企业也没这么多显卡。 那就用开源方案搭建光是配置环境就够喝一壶的向量库选型、模型部署、前端界面...每一步都像是在考验你的耐心。 难道就没有一个简单可行的方案吗 被老板抓着加班部署了一个月后相信我DeepseekMilvusAnythingLLM绝对是你部署本地知识库的最优解 这个方案不仅解决了性能问题更重要的是它真的做到了零门槛只需要30分钟就能搭建一个具备企业级性能的私有知识库。而且整个过程真的像搭积木一样简单小白也能快速上手。 01 选型思路 首先我们来看一下这次选型为什么采用DeepseekMilvusAnythingLLM这个组合它主要解决了目前RAG落地的三大痛点: 1.1 模型性能问题 用过ollama提供的蒸馏版Deepseek的朋友应该都有同感虽然也是Deepseek但效果实在不怎么聪明。总结来说就是7B太智障671B用不起。 所以在这里我们推荐使用硅基流动以及一些云服务企业的API服务通过API调用的方式,我们可以用很低的成本获得满血版Deepseek的算力支持。而且最近一段时间新注册用户还有免费的额度尝鲜。 1.2 部署难度问题 市面上开源的RAG方案不少,但要么需要复杂的环境配置,要么需要大量的运维工作。而AnythingLLM则提供完整的UI界面天然的支持向量数据库Milvus以及各种类型的大模型接口,降低了入门用户的使用门槛。 而Milvus在召回效率、支持的数量规模等方面也是业内毋庸置疑的第一梯队与此同时Milvus也是目前github上向量数据库方向star数量最多的开源产品属于大部分AI开发者的入门基础课程。 1.3 扩展性问题 这个组合最大的亮点在于它的灵活性。可以轻松切换不同的大语言模型Milvus支持亿级数据的高性能检索AnythingLLM的插件机制让功能扩展变得简单。 总的来说,这个组合方案既保证了效果,又降低了使用门槛,还具备良好的扩展性。对于想要快速搭建私有知识库的个人来说,是一个非常理想的选择。 02 实战搭建本地RAG 环境配置要求说明 本文环境均以MacOS为例Linux和Windows用户可以参考对应平台的部署文档。 docker和ollama安装不在本文中展开。 本地部署配置最低CPU:4核、内存8G建议 CPU:8核、内存16G 1Milvus部署 官网https://milvus.io 1.1下载Milvus部署文件 bash-3.2$ wget https://github.com/milvus-io/milvus/releases/download/v2.5.4/milvus-standalone-docker-compose.yml -O docker-compose.yml 1.2修改配置文件 说明anythingllm对接milvus时需要提供milvus账号密码因此需要修改docker-compose.yml文件中的username和password字段。 version: 3.5
services:etcd:container_name: milvus-etcdimage: registry.cn-hangzhou.aliyuncs.com/xy-zy/etcd:v3.5.5environment:- ETCD_AUTO_COMPACTION_MODErevision- ETCD_AUTO_COMPACTION_RETENTION1000- ETCD_QUOTA_BACKEND_BYTES4294967296- ETCD_SNAPSHOT_COUNT50000volumes:- ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/etcd:/etcdcommand: etcd -advertise-client-urlshttp://127.0.0.1:2379 -listen-client-urls http://0.0.0.0:2379 --data-dir /etcdhealthcheck:test: [CMD, etcdctl, endpoint, health]interval: 30stimeout: 20sretries: 3minio:container_name: milvus-minioimage: registry.cn-hangzhou.aliyuncs.com/xy-zy/minio:RELEASE.2023-03-20T20-16-18Zenvironment:MINIO_ACCESS_KEY: minioadminMINIO_SECRET_KEY: minioadminports:- 9001:9001- 9000:9000volumes:- ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/minio:/minio_datacommand: minio server /minio_data --console-address :9001healthcheck:test: [CMD, curl, -f, http://localhost:9000/minio/health/live]interval: 30stimeout: 20sretries: 3standalone:container_name: milvus-standaloneimage: registry.cn-hangzhou.aliyuncs.com/xy-zy/milvus:v2.5.4command: [milvus, run, standalone]security_opt:- seccomp:unconfinedenvironment:ETCD_ENDPOINTS: etcd:2379MINIO_ADDRESS: minio:9000COMMON_USER: milvusCOMMON_PASSWORD: milvusvolumes:- ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/milvus:/var/lib/milvushealthcheck:test: [CMD, curl, -f, http://localhost:9091/healthz]interval: 30sstart_period: 90stimeout: 20sretries: 3ports:- 19530:19530- 9091:9091depends_on:- etcd- minio
networks:default:name: milvus 1.3启动并检查Milvus服务 bash-3.2$ docker-compose up -d 2ollama下载向量模型 官网https://ollama.com/ 2.1 下载查看向量模型 bash-3.2$ ollama pull nomic-embed-text bash-3.2$ ollama list 3注册硅基流动获取API密钥 官网https://siliconflow.cn/zh-cn/ 3.1复制满血版deepseek模型名称 3.2 创建API密钥并记录 4下载安装AnythingLLM 官网https://anythingllm.com/ 4.1 安装时点击GetStarted 4.2 暂不配置先点下一步 4.3 点击Skip跳过 4.4 部署完成进入首页 5配置AnythingLLM 5.1添加deepseek模型 说明点击LLM首选项选择提供商Generic OpenAI并填入刚才注册的API密钥、baserul、deepseek模型名称并保存 5.2 添加milvus向量数据库 说明点击向量数据库选项选择Milvus并填入刚才部署好的milvus的地址、用户名、密码并保存 5.3 添加embeding模型 说明点击Embedder首选项选择ollama并填入刚才部署好的ollama的URL和模型名称并保存 6效果演示 6.1 回到首页新建工作区 6.2 上传测试数据集 说明数据集可以从huggingface上获取 网址https://huggingface.co/datasets 上传区域传入数据集并点击Move向量化后存入milvus 6.3 测试问答效果 说明对话框中输入“怎么实现向量检索检索”得到的回复是符合预期的可以看到回复中引用了本地知识库中的内容。 03 写在结尾RAG落地的思考与展望 看到这里相信你已经成功搭建起了自己的知识库系统。不过除了具体的搭建步骤我觉得这个方案背后还有一些值得分享的思考。 1.架构设计的前瞻性 这套方案采用了模型服务向量数据库应用前端的解耦设计。这种架构的好处是显而易见的 当新的大模型出现时我们只需要替换模型服务 数据规模扩大时可以单独升级向量库 业务需求变化时前端界面也能独立演进 这种松耦合的设计理念让系统具备了持续进化的能力。在AI技术快速迭代的今天这一点尤为重要。 2.技术选型的平衡之道 在选择技术栈时我们需要在多个维度之间找到平衡 性能与易用性通过API调用满血版模型而不是本地部署蒸馏版 开发效率与扩展性选择开箱即用的AnythingLLM但保留了插件扩展能力 成本与效果利用硅基流动等云服务避免了高昂的硬件投入 这些选择背后体现的是一种务实的工程思维。 3.RAG应用的演进趋势 从更大的视角来看这套方案的出现其实反映了几个重要的行业趋势 知识库建设正在从企业级需求向个人需求扩展 RAG技术栈正在标准化、组件化降低了使用门槛 云服务的普及让高性能AI能力变得触手可及 未来随着更多优秀的开源组件出现RAG的应用场景会越来越丰富。我们可能会看到 更多细分领域的专业知识库方案 更智能的数据处理和检索算法 更便捷的部署和运维工具 总的来说这个DeepseekMilvusAnythingLLM的组合不仅解决了当前的实际需求也为未来的演进预留了空间。对于想要探索RAG应用的个人和团队来说现在就是最佳的入局时点。 如对以上案例感兴趣或想对Milvus做进一步了解欢迎扫描文末二维码交流进步。 作者介绍 Zilliz 黄金写手尹珉 推荐阅读
