青岛专业制作网站的公司吗,wordpress读者墙 插件,大学生创新创业网站建设内容,wordpress数据控查看密码私有化部署DeepSeek并SpringBoot集成使用#xff08;附UI界面使用教程-支持语音、图片#xff09;
windows部署ollama
Ollama 是一个开源框架#xff0c;专为在本地机器上便捷部署和运行大型语言模型#xff08;LLM#xff09;而设计
下载ollama
下载地址#xff08;…私有化部署DeepSeek并SpringBoot集成使用附UI界面使用教程-支持语音、图片
windows部署ollama
Ollama 是一个开源框架专为在本地机器上便捷部署和运行大型语言模型LLM而设计
下载ollama
下载地址mac、linux、windowshttps://ollama.com/download github 的Releases地址https://github.com/ollama/ollama/releases 下载可能限速我选择使用阿里云服务器下载然后再ftp下载到本地 wget https://github.com/ollama/ollama/releases/download/v0.5.8-rc10/OllamaSetup.exe我下载的版本为v0.5.8-rc10
ps这里提供一个github加速网站 https://github.akams.cn/
安装ollama
下载完毕后,直接点击安装(默认安装C盘,确保你的C盘有10G以上的空间) 打开cmd 输入 ollama ,如果有usage提示,那么说明安装成功 注意关闭ollama进程然后再执行下面的步骤因为安装后默认程序已经打开了 如何验证是否安装成功 ctrlr 进入cmd 输入
ollama如果出现下面的界面说明安装成功
配置ollama环境变量
这一步是为了确保你以后下载的模型都放在别的地址因为默认安装到C盘这里可以将模型下载到别的盘 打开【系统环境变量】新建一个系统环境变量{OLLAMA_MODELS}值为{D:ollamamodels}
配置ollama端口可选
默认地址为http://localhost:11434 配置端口 新建一个系统环境变量{OLLAMA_HOST}值为{0.0.0.0:8080} 为什么要改因为后面用webui里面用的8080所以我把这里的端口改了
配置ollama跨域可选
配置跨域 新建一个系统环境变量{OLLAMA_ORIGINS}值为{*}
选择并下载DeepSeek版本
https://ollama.com/library/deepseek-r1 根据电脑性能选择不同的大小对应不同的命令。
打开cmd输入命令
这里我选择使用1.5b所以我的命令为
ollama run deepseek-r1:1.5b然后等待pull就行了 安装成功后如下图所示
linux部署ollama
直接上命令行
curl -fsSL https://ollama.com/install.sh | sh
sudo systemctl enable ollama
sudo systemctl status ollama
sudo systemctl start ollama
ollama run deepseek-r1:1.5b接口形式调用DeepSeek-SpringBoot集成
对接api文档
ollama已经开放了非常全的api接口了对于全面私人化定制都是可以支持详情参照官方文档我这里只是弄了一个简单的示例。
ollama api文档
https://github.com/ollama/ollama/blob/main/docs/api.md
新建工具类方法
package com.example.springtestdemo.ai.util;import com.alibaba.fastjson.JSONObject;
import lombok.extern.slf4j.Slf4j;/*** date 2025-01-15 10:58:46*/
Slf4j
public class OllamaUtil {private static String DOMAIN http://localhost:11434/api/generate;public static String chatDeepSeek(String model, String question) {String url DOMAIN;JSONObject body new JSONObject();body.put(model, model);body.put(prompt, question);// 关闭流式返回全部生成完再返回数据body.put(stream, false);String result CommonUtil.postJson(url, body.toJSONString());log.info(【ollama-请求】 结果 {}, result);try {JSONObject resJson JSONObject.parseObject(result);String response resJson.getString(response);log.info(【ollama-请求】 结果 {}, response);return response;} catch (Exception e) {log.error(【ollama-请求】异常, e);}return ok;}
}新建控制器
package com.example.springtestdemo.ai.controller;import com.example.springtestdemo.ai.QueryParam;
import com.example.springtestdemo.ai.util.OllamaUtil;
import org.springframework.web.bind.annotation.PostMapping;
import org.springframework.web.bind.annotation.RestController;/*** date 2025-02-07 14:44:56*/
RestController
public class AiController {PostMapping(/deepSeek)public String deepSeek(QueryParam query) {String res OllamaUtil.chatDeepSeek(deepseek-r1:1.5b, query.getQuestion());return res;}
}安装 UI使用界面
1、 直接使用eage插件使用 https://www.crxsoso.com/webstore/detail/jfgfiigpkhlkbnfnbobbkinehhfdhndo 支持图片上传什么的都有
