网站后台怎么做,企业文化培训,阿里巴巴网站建设规划,松江品划网站建设开发1.下载#xff1a;
https://github.com/ollama/ollama/releases
2.配置环境变量
我的电脑-右键-属性-系统-高级系统设置-环境变量-【系统环境变量】新建
变量名#xff1a;OLLAMA_MODELS #xff08;固定变量名#xff09; 变量值#xff1a;E:\Ollama\Lib #xff0…1.下载
https://github.com/ollama/ollama/releases
2.配置环境变量
我的电脑-右键-属性-系统-高级系统设置-环境变量-【系统环境变量】新建
变量名OLLAMA_MODELS 固定变量名 变量值E:\Ollama\Lib 写自己要存放的路径
先配置好这个变量这个是ollama的存储路径。 不配置也可以不配置的话就会放到默认位置建议还是修改下存储路径方便后续使用。
3.安装
直接install即可。 安装完成后cmd查询下ollama --version 如果查询不到重启下电脑即可。 我这里是因为我直接把ollama给关了所以出现了警告不过也同样可以看到ollama客户端的版本。 ollama的其他命令可以通过ollama help来获取
4.下载模型 谷歌最新开源gemma: 最低条件: 2B版本需要2G显存 7B版本需要4G显存 7B的其他版本需要更大 打开命令提示符窗口下载运行模型 访问https://ollama.com/library选择自己想要的模型复制下载命令即可. 这里选择拉取gemma7b版本来试试ollama run gemma:7b 全量版模型拉取运行命令 ollama run gemma:2b-instruct-fp16 ollama run gemma:7b-instruct-fp16 ollama命令 查看已有模型ollama list 下载完成后即在运行 接下来可以直接在命令行窗口进行问答 拉取的模型可以在存储目录blobs下看到
5.整合界面UI
Ollama WebUI、open-webui等。 需要在docker环境中运行windows本地docker已经被我搞掉了只有虚拟机里面才有docker环境。 虚拟机占用内存破电脑性能一般般不打算搞了。这个搞起来也还好就是拉下镜像运行容器就行了。JAN AIhttps://jan.ai/ 下载windows版本客户端开源的 1下载安装后修改下数据存储路径随便要不要改修改完重启即可。
2修改ai模型源 E:\Ollama\JANAI\engines\openai.json 上一步中的数据存储路径下找到engines\openai.json进行修改
{full_url: http://localhost:11434/v1/chat/completions
}3添加模型配置记得把里面的注释去掉。 E:\Ollama\JANAI\models\底下创建一个文件夹mine-gemma-7b名字随便我把models底下其他的文件夹都挪走备份了方便管理而已然后在底下创建个model.json文件
{sources: [{filename: gemma:7b, # 模型名称url: https://ollama.com/library/gemma:7b # 模型url}],id: gemma:7b, #模型IDobject: model,name: mine-gemma:7b, #显示在jan中模型名称随便写不影响version: 1.0,description: ollama本地gemma:7b, #随便写不影响format: api,settings: {},parameters: {},metadata: {author: Meta,tags: [General,Big Context Length]},engine: openai, # 需要配置state:ready # 需要配置
}上述配置弄完之后重启下jan然后再hub中就可以看到自己加的模型了点击use即可使用 断网状态下是可以使用的。
chatbox : https://chatboxai.app/zh 下载windows客户端 直接安装完按照下图选中相应模型就可以使用了。 都是自动加载的如果对界面没啥要求的推荐直接用chatbox就可以了啥都不用整就可以用了。
