双语网站模板,网络营销整合营销,查看网站有没有备案,wordpress静态化html文章目录 前言一、下载安装1.Mac2.Windows3.linux4.docker5.修改配置#xff08;可选#xff09;1.linux系统2.window 系统3.mac系统 二、Ollama使用1.命令2.模型下载3.自定义模型4.API 服务 三、Open WebUI 使用四、Dify使用 前言
Ollama 是一个专注于本地部署大型语言模型… 文章目录 前言一、下载安装1.Mac2.Windows3.linux4.docker5.修改配置可选1.linux系统2.window 系统3.mac系统 二、Ollama使用1.命令2.模型下载3.自定义模型4.API 服务 三、Open WebUI 使用四、Dify使用 前言
Ollama 是一个专注于本地部署大型语言模型的工具通过提供便捷的模型管理、丰富的预建模型库、跨平台支持以及灵活的自定义选项使得开发者和研究人员能够在本地环境中高效利用大型语言模型进行各种自然语言处理任务而无需依赖云服务或复杂的基础设施设置。
以下是其主要特点和功能概述 简化部署Ollama 目标在于简化在 Docker 容器中部署大型语言模型的过程使得非专业用户也能方便地管理和运行这些复杂的模型。 轻量级与可扩展作为轻量级框架Ollama 保持了较小的资源占用同时具备良好的可扩展性允许用户根据需要调整配置以适应不同规模的项目和硬件条件。 API支持提供了一个简洁的 API使得开发者能够轻松创建、运行和管理大型语言模型实例降低了与模型交互的技术门槛。 预构建模型库包含一系列预先训练好的大型语言模型用户可以直接选用这些模型应用于自己的应用程序无需从头训练或自行寻找模型源。
一、下载安装
1.Mac
下载对应的客户端软件并安装 下载地址https://ollama.com/download/Ollama-darwin.zip
2.Windows
下载对应的客户端软件并安装 下载地址https://ollama.com/download/OllamaSetup.exe
3.linux
运行命令一键下载安装
curl -fsSL https://ollama.com/install.sh | sh查看下服务状态
systemctl status ollama查看安装版本
ollama -v4.docker
Docker Hub 上提供了官方的 Ollama Docker 镜像。ollama/ollama
需要配置GPU驱动可以看Ollama的docker镜像文档https://hub.docker.com/r/ollama/ollama
拉取镜像
# 使用 CPU 或者 Nvidia GPU 来推理模型
docker pull ollama/ollama
# 使用 AMD GPU 来推理模型
docker pull ollama/ollama:rocm针对不同的设备我们的运行指令也需要有不同的调整
# 默认 CPU 模式运行
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama# Nvidia GPU 模式运行
docker run -d --gpusall -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama# AMD 显卡运行
docker run -d --device /dev/kfd --device /dev/dri -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama:rocm5.修改配置可选
Ollama 可以设置的环境变量
OLLAMA_HOST这个变量定义了Ollama监听的网络接口。通过设置OLLAMA_HOST0.0.0.0我们可以让Ollama监听所有可用的网络接口从而允许外部网络访问。OLLAMA_MODELS这个变量指定了模型镜像的存储路径。通过设置OLLAMA_MODELSF:\OllamaCache我们可以将模型镜像存储在E盘避免C盘空间不足的问题。OLLAMA_KEEP_ALIVE这个变量控制模型在内存中的存活时间。设置OLLAMA_KEEP_ALIVE24h可以让模型在内存中保持24小时提高访问速度。OLLAMA_PORT这个变量允许我们更改Ollama的默认端口。例如设置OLLAMA_PORT8080可以将服务端口从默认的11434更改为8080。OLLAMA_NUM_PARALLEL这个变量决定了Ollama可以同时处理的用户请求数量。设置OLLAMA_NUM_PARALLEL4可以让Ollama同时处理两个并发请求。OLLAMA_MAX_LOADED_MODELS这个变量限制了Ollama可以同时加载的模型数量。设置OLLAMA_MAX_LOADED_MODELS4可以确保系统资源得到合理分配。不同操作系统模型默认存放在
macOS: ~/.ollama/models
Linux: /usr/share/ollama/.ollama/models
Windows: C:\Users\xxx\.ollama\models默认只能本地访问如果需要局域网内其他机器也能访问比如嵌入式设别要访问本地电脑需要对 HOST 进行配置开启监听任何来源IP
1.linux系统 配置文件在/etc/systemd/system/ollama.service [Service]
#修改HOST
EnvironmentOLLAMA_HOST0.0.0.0
#修改模型存放位置
EnvironmentOLLAMA_MODELS/data/ollama/models
#如果有多张 GPU可以对 CUDA_VISIBLE_DEVICES 配置指定运行的 GPU默认使用多卡。
EnvironmentCUDA_VISIBLE_DEVICES0,1配置修改后需要重启 ollama
systemctl daemon-reload
systemctl restart ollama2.window 系统
#直接在系统环境变量中加入
OLLAMA_HOST0.0.0.0:11434重启服务后生效
3.mac系统
使用launchctl配置环境变量
launchctl setenv OLLAMA_HOST 0.0.0.0:11434重启服务后生效
文档https://github.com/ollama/ollama/blob/main/docs/faq.md
二、Ollama使用
1.命令
终端输入ollama ollama serve # 启动ollama
ollama create # 从模型文件创建模型
ollama show # 显示模型信息
ollama run # 运行模型会先自动下载模型
ollama stop # 停止运行模型
ollama pull # 从注册仓库中拉取模型
ollama push # 将模型推送到注册仓库
ollama list # 列出已下载模型
ollama ps # 列出正在运行的模型
ollama cp # 复制模型
ollama rm # 删除模型
ollama models details [模型名称] # 获取更多模型信息2.模型下载
在官方有类似 Docker 托管镜像的 Docker HubOllama 也有个 Library 托管支持的大模型。 地址https://ollama.com/library 使用命令ollama run 自动下载模型后运行
ollama run qwen2.53.自定义模型
如果要使用的模型不在 Ollama 模型库怎么办
GGUF (GPT-Generated Unified Format)模型 GGUF 是由 llama.cpp 定义的一种高效存储和交换大模型预训练结果的二进制格式。
Ollama 支持采用 Modelfile 文件中导入 GGUF 模型。
这里我使用Llama3.1-8B-Chinese-Chat模型举例子 模型地址https://modelscope.cn/models/XD_AI/Llama3.1-8B-Chinese-Chat/files step 1:新建一个文件名为 llama3-modelfile 的文件然后在其中指定 llama3 模型路径
FROM /root/models/llama3.1_8b_chinese_chat_f16.ggufstep 2: 创建模型 这里的llama3.1_8b名字可以自定义
ollama create llama3.1_8b -f llama3-modelfilestep 3: 运行模型
ollama run llama34.API 服务
除了本地运行模型以外还可以把模型部署成 API 服务。
执行下述指令可以一键启动 REST API 服务
ollama serve下面介绍两个常用示例
1、生成回复
curl http://129.150.63.xxx:11434/api/generate -d {model: qwen2:0.5b,prompt:Why is the sky blue?,stream:false
}2、模型对话
curl http://localhost:11434/api/chat -d {model: qwen2:0.5b,messages: [{ role: user, content: why is the sky blue? }],stream:false
}更多参数和使用可参考 API 文档https://github.com/ollama/ollama/blob/main/docs/api.md
三、Open WebUI 使用 Open WebUI 是一个可扩展的自托管 WebUI前身就是 Ollama WebUI为 Ollama 提供一个可视化界面可以完全离线运行支持 Ollama 和兼容 OpenAI 的 API。 GitHub地址https://github.com/open-webui/open-webui 文档地址https://docs.openwebui.com/
Open WebUI 部署 我们直接采用 docker 部署 Open WebUI
因为我们已经部署了 Ollama故采用如下命令
docker run -d -p 3000:8080 --add-hosthost.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main其中–add-hosthost.docker.internal:host-gateway 是为了添加一个主机名映射将 host.docker.internal 指向宿主机的网关方便容器访问宿主机服务
假设你之前没有安装过 Ollama也可以采用如下镜像打包安装Ollama Open WebUI
docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollamaOpen WebUI 使用 在打开主机 3000 端口的防火墙之后浏览器中输入http://your_ip:3000/注册一个账号 可以发现界面和 ChatGPT 一样简洁美观首先需要选择一个模型我部署了 qwen2.5于是先用它试试 右上角这里可以设置系统提示词以及模型参数等等
在个人设置这里可以看到内置的 TTS 服务 输入消息进行对话
觉得上述流程略显麻烦没问题你的困惑早有人帮你搞定了GitHub 上有开发者做了 docker-compose 一键整合安装包。Ollama Docker Compose 该项目使用 Docker Compose 简化了 Ollama 的部署从而可以轻松地在容器化环境中运行 Ollama 及其所有依赖项。 传送门https://github.com/valiantlynx/ollama-docker 你只需要一行命令 docker-compose up -d就能一键启动 Ollama Open WebUI~
启动成功后注意看一下不同容器的端口号
docker ps四、Dify使用
在 Dify 中接入 Ollama 在 设置 模型供应商 Ollama 中填入
模型名称llava基础 URLhttp://:11434 此处需填写可访问到的 Ollama 服务地址。 若 Dify 为 docker 部署建议填写局域网 IP 地址如http://192.168.1.100:11434 或 docker 宿主机 IP 地址如http://172.17.0.1:11434。 若为本地源码部署可填写 http://localhost:11434。模型类型对话模型上下文长度4096 模型的最大上下文长度若不清楚可填写默认值 4096。最大 token 上限4096 模型返回内容的最大 token 数量若模型无特别说明则可与模型上下文长度保持一致。是否支持 Vision是 当模型支持图片理解多模态勾选此项如 llava。 如果您使用Docker部署Dify和Ollama您可能会遇到以下错误: httpconnectionpool(host127.0.0.1, port11434): max retries exceeded with url:/cpi/chat (Caused by NewConnectionError(urllib3.connection.HTTPConnection object at 0x7f8562812c20: fail to establish a new connection:[Errno 111] Connection refused))httpconnectionpool(hostlocalhost, port11434): max retries exceeded with url:/cpi/chat (Caused by NewConnectionError(urllib3.connection.HTTPConnection object at 0x7f8562812c20: fail to establish a new connection:[Errno 111] Connection refused))这个错误是因为 Docker 容器无法访问 Ollama 服务。localhost 通常指的是容器本身而不是主机或其他容器。要解决此问题您需要将 Ollama 服务暴露给网络。 OLLAMA_HOST0.0.0.0
如果以上步骤无效可以使用以下方法 问题是在docker内部你应该连接到host.docker.internal才能访问docker的主机所以将localhost替换为host.docker.internal服务就可以生效了http://host.docker.internal:11434
