淮安建设网站制作短期培训就业学校
文章目录
- 环境准备
- 下载Ollama
- 模型下载
- 下载Open-WebUI
- 本地化部署的Web图形化界面
- 本地模型联网查询
- 安装 Docker
- 安装 SearXNG
- 本地模型联网查询
环境准备
下载Ollama
下载地址：Ollama网址
安装完成后，命令行里执行命令
ollama -v
查看是否安装成功。安装成功会显示版本信息
ollama 的命令可通过 ollama -h 查看。
模型下载
可以在 Ollama 网站的 Models 里查看公开的大模型（网址），也可以从大模型镜像源站 HF-Mirror 下载。
以 Ollama 网站为例，点进一个大模型（如最近大火的 DeepSeek R1）
如图右下角的 ollama run deepseek-r1 就是下载命令，在第一次执行该命令时，ollama 将从网站下载大模型，在下载完成后，再执行这一命令就会加载模型，并进入交互模式：
注：大部分模型都是有内容审查的，这很多时候限制了我们的使用灵活性，可以寻找带有 abliterated 后缀的模型，这些模型被注释了审查代码。（不过本人尝试发现 abliterated 版本的实际上仍存在审查机制，会拒绝回答某些问题）
下载Open-WebUI
网上其他教程安装 Open-WebUI 一般都是在虚拟机 Docker 下安装的，这在 Windows 系统里很不方便。这里提供另外一种方法：首先安装 Python 3.11，然后在命令行里执行
pip install open-webui
即可完成 open-webui 的安装。
本地化部署的Web图形化界面
首先，需要开启 Ollama 服务，运行一个大模型，在命令行里执行
ollama run 大模型名
其中模型名可以通过 ollama list 查看。启用 ollama 服务后，可以使用
ollama ps
命令查看当前运行的模型进程。
随后再打开一个命令行，执行如下命令启用 open-webui 服务
open-webui serve
启动后可以在浏览器里输入以下地址，打开 Web 图形化界面：
localhost:8080
(本机IP):8080
其中第二个地址可以在局域网内的其他设备访问。
Open-WebUI 的界面如下
本地化部署完成！
本地模型联网查询
未联网的情况下，很多问题大模型无法解决，回答也比较蠢（还会胡说），因此需要增加联网查询功能。
安装 Docker
安装 Docker Desktop 即可（网址 Docker）。安装后用以下命令查询是否安装完成：
docker -v
安装 SearXNG
执行如下命令拉取 SearXNG （一个可以本地部署的轻量化搜索引擎）
docker pull searxng/searxng
不过这个命令由于网站无法连接，下载往往失败，可以使用镜像源：
docker pull docker.m.daocloud.io/searxng/searxng
安装完成后即可在 Docker Desktop 里查看到 SearXNG Image：
执行如下命令（最后面一串是 Image Name，注意要和你的 SearXNG 名字相同），将服务开在了端口 12345
docker run -d -p 12345:8080 docker.m.daocloud.io/searxng/searxng
随后可以在 Docker Desktop 的 Container/App 界面查看到运行的 SearXNG，显示运行在 12345 号端口。在命令行里使用
docker ps
命令也可以查看到运行中的 docker 镜像进程。
在浏览器访问 localhost:12345，可以看到 SearXNG 服务已开启。
用默认配置的 SearXNG 很可能搜索不到东西，可以在配置里修改搜索引擎，改成大陆可以访问的那几个。
本地模型联网查询
在 open-webui 界面下，用户->管理员面板->设置 里面，配置搜索引擎如下，并保存设置
此时询问问题，联网查询可能会报 403 错误，需要修改一个配置文件。执行
docker ps
查看 searxng 服务的 CONTAINER ID 号，随后执行以下命令（命令中的 <CONTAINER_ID> 替换为你 SearXNG 的 CONTAINER ID）
docker exec -it <CONTAINER_ID> sh
进入到镜像目录，随后进入 /etc/searxng/ 目录，使用 vi 修改 settings.yml 文件，在 formats 下面增加一行（- json）
修改文件后保存，然后 restart 容器。
修改 settings.yml 后，open-webui 联网查询不再报 403 错误，但可能报 Expecting value: line 1 column 1 (char 0) 错误（这是因为返回值格式不满足 json 格式导致的解析错误）或 RemoteDisconnected('Remote end closed connection without response') 错误，笔者目前还没有找到好的解决方法，日后若解决了再补上这里。
(U•ェ•*U )