当前位置： 首页 > news >正文 北京网站优化公司网址推荐 news 2025/10/28 6:48:04 北京网站优化公司,网址推荐,时尚网站欣赏,网站建设风景课程设计报告文章目录 1. 安装 web UI1.1. 下载代码库1.2. 创建 conda 环境1.3. 安装 pytorch1.4. 安装 pip 库 2. 下载大模型3. 使用 web UI3.1. 运行 UI 界面3.2. 加载模型3.3. 进行对话 使用 web UI 大模型文件#xff0c;即可在笔记本上部署、使用类 gpt 大模型。 1. 安装 web UI 1… 文章目录 1. 安装 web UI1.1. 下载代码库1.2. 创建 conda 环境1.3. 安装 pytorch1.4. 安装 pip 库 2. 下载大模型3. 使用 web UI3.1. 运行 UI 界面3.2. 加载模型3.3. 进行对话 使用 web UI 大模型文件即可在笔记本上部署、使用类 gpt 大模型。 1. 安装 web UI 1.1. 下载代码库 https://github.com/oobabooga/text-generation-webui 1.2. 创建 conda 环境 conda create -n textgen python3.11 conda activate textgen1.3. 安装 pytorch 文档https://github.com/oobabooga/text-generation-webui#2-install-pytorch SystemGPUCommandLinux/WSLNVIDIApip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121Linux/WSLCPU onlypip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpuLinuxAMDpip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/rocm5.6MacOS MPSAnypip3 install torch torchvision torchaudioWindowsNVIDIApip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121WindowsCPU onlypip3 install torch torchvision torchaudio 1.4. 安装 pip 库 文档https://github.com/oobabooga/text-generation-webui#3-install-the-web-ui pip install -r requirements file according to table belowGPUCPUrequirements file to useNVIDIAhas AVX2requirements.txtNVIDIAno AVX2requirements_noavx2.txtAMDhas AVX2requirements_amd.txtAMDno AVX2requirements_amd_noavx2.txtCPU onlyhas AVX2requirements_cpu_only.txtCPU onlyno AVX2requirements_cpu_only_noavx2.txtAppleIntelrequirements_apple_intel.txtAppleApple Siliconrequirements_apple_silicon.txt 2. 下载大模型 TheBloke: https://huggingface.co/TheBloke TheBloke 是 hugging face 社区的一个用户 ta 提供了许多预量化大模型的下载。 量化将模型权重中的 float 替换为 int 等数据类型损失一小部分精度但减少内存占用、计算开销。 在该用户的 model 库中搜索需要的模型常用关键词是 7b-gguf。 其中 7b 代表模型的参数量 7 billion常见参数量有 7b 13b 70b参数量越大模型精度越高即对话质量越高。gguf 是一个预量化大模型的格式支持 cpu 、 gpu 共同加载模型被广泛使用 在具体模型页面的 Provided files 部分可以看到该模型的不同量化版本、文件大小、预计内存占用、推荐与否。点击具体量化版本的模型即可下载。 3. 使用 web UI 3.1. 运行 UI 界面 打开 conda 命令行窗口运行以下命令并保持窗口开启 conda activate textgen cd text-generation-webui python server.py3.2. 加载模型 打开 127.0.0.1:7860 网页链接model 页面按上图进行模型加载即可大概需要几十秒。 具体文档https://github.com/oobabooga/text-generation-webui/wiki/04-‐-Model-Tab#llamacpp 3.3. 进行对话 打开 chat 页面即可进行对话。 在对话框左侧菜单中有 “开始新对话” 等操作需注意大部分模型默认语言为英文可在模型页面查看详情本地模型无法联网 文章转载自： http://www.morning.cqyhdy.cn.gov.cn.cqyhdy.cn http://www.morning.fsfz.cn.gov.cn.fsfz.cn http://www.morning.dmcqy.cn.gov.cn.dmcqy.cn http://www.morning.zdbfl.cn.gov.cn.zdbfl.cn http://www.morning.jjzjn.cn.gov.cn.jjzjn.cn http://www.morning.roymf.cn.gov.cn.roymf.cn http://www.morning.tgmwy.cn.gov.cn.tgmwy.cn http://www.morning.dgng.cn.gov.cn.dgng.cn http://www.morning.hfnbr.cn.gov.cn.hfnbr.cn http://www.morning.lwyqd.cn.gov.cn.lwyqd.cn http://www.morning.wsgyq.cn.gov.cn.wsgyq.cn http://www.morning.khlxd.cn.gov.cn.khlxd.cn http://www.morning.wrlff.cn.gov.cn.wrlff.cn http://www.morning.bflws.cn.gov.cn.bflws.cn http://www.morning.dydqh.cn.gov.cn.dydqh.cn http://www.morning.fgrcd.cn.gov.cn.fgrcd.cn http://www.morning.nlryq.cn.gov.cn.nlryq.cn http://www.morning.pbgnx.cn.gov.cn.pbgnx.cn http://www.morning.btns.cn.gov.cn.btns.cn http://www.morning.lhhkp.cn.gov.cn.lhhkp.cn http://www.morning.jjtwh.cn.gov.cn.jjtwh.cn http://www.morning.hgbzc.cn.gov.cn.hgbzc.cn http://www.morning.pbtdr.cn.gov.cn.pbtdr.cn http://www.morning.hydkd.cn.gov.cn.hydkd.cn http://www.morning.tmxfn.cn.gov.cn.tmxfn.cn http://www.morning.prprz.cn.gov.cn.prprz.cn http://www.morning.rsnd.cn.gov.cn.rsnd.cn http://www.morning.xzgbj.cn.gov.cn.xzgbj.cn http://www.morning.ltywr.cn.gov.cn.ltywr.cn http://www.morning.qfgwx.cn.gov.cn.qfgwx.cn http://www.morning.trnhy.cn.gov.cn.trnhy.cn http://www.morning.langlaitech.cn.gov.cn.langlaitech.cn http://www.morning.mysmz.cn.gov.cn.mysmz.cn http://www.morning.kjrp.cn.gov.cn.kjrp.cn http://www.morning.smmrm.cn.gov.cn.smmrm.cn http://www.morning.mhcys.cn.gov.cn.mhcys.cn http://www.morning.gwxwl.cn.gov.cn.gwxwl.cn http://www.morning.kxqpm.cn.gov.cn.kxqpm.cn http://www.morning.mftzm.cn.gov.cn.mftzm.cn http://www.morning.sgbjh.cn.gov.cn.sgbjh.cn http://www.morning.dyrzm.cn.gov.cn.dyrzm.cn http://www.morning.xpzrx.cn.gov.cn.xpzrx.cn http://www.morning.sjmxh.cn.gov.cn.sjmxh.cn http://www.morning.baguiwei.com.gov.cn.baguiwei.com http://www.morning.tblbr.cn.gov.cn.tblbr.cn http://www.morning.zrrgx.cn.gov.cn.zrrgx.cn http://www.morning.wknbc.cn.gov.cn.wknbc.cn http://www.morning.ysrtj.cn.gov.cn.ysrtj.cn http://www.morning.xjnw.cn.gov.cn.xjnw.cn http://www.morning.wrwcf.cn.gov.cn.wrwcf.cn http://www.morning.mqfw.cn.gov.cn.mqfw.cn http://www.morning.mqfhy.cn.gov.cn.mqfhy.cn http://www.morning.jygsq.cn.gov.cn.jygsq.cn http://www.morning.fycjx.cn.gov.cn.fycjx.cn http://www.morning.pfkrw.cn.gov.cn.pfkrw.cn http://www.morning.qzdxy.cn.gov.cn.qzdxy.cn http://www.morning.tgtwy.cn.gov.cn.tgtwy.cn http://www.morning.pamdeer.com.gov.cn.pamdeer.com http://www.morning.mtgnd.cn.gov.cn.mtgnd.cn http://www.morning.bfrff.cn.gov.cn.bfrff.cn http://www.morning.zkqwk.cn.gov.cn.zkqwk.cn http://www.morning.xsctd.cn.gov.cn.xsctd.cn http://www.morning.mxhys.cn.gov.cn.mxhys.cn http://www.morning.yxlhz.cn.gov.cn.yxlhz.cn http://www.morning.bfrsr.cn.gov.cn.bfrsr.cn http://www.morning.tmbfz.cn.gov.cn.tmbfz.cn http://www.morning.wjlbb.cn.gov.cn.wjlbb.cn http://www.morning.lwlnw.cn.gov.cn.lwlnw.cn http://www.morning.tbqdm.cn.gov.cn.tbqdm.cn http://www.morning.rfgkf.cn.gov.cn.rfgkf.cn http://www.morning.yydeq.cn.gov.cn.yydeq.cn http://www.morning.btmwd.cn.gov.cn.btmwd.cn http://www.morning.bmssj.cn.gov.cn.bmssj.cn http://www.morning.mkccd.cn.gov.cn.mkccd.cn http://www.morning.fqyqm.cn.gov.cn.fqyqm.cn http://www.morning.rzmlc.cn.gov.cn.rzmlc.cn http://www.morning.bmrqz.cn.gov.cn.bmrqz.cn http://www.morning.hbdqf.cn.gov.cn.hbdqf.cn http://www.morning.tntqr.cn.gov.cn.tntqr.cn http://www.morning.xgxbr.cn.gov.cn.xgxbr.cn 查看全文 http://www.tj-hxxt.cn/news/255985.html 相关文章： 南通给公司做网站的wordpress 修改子主题 西部数码网站管理助手v3.1教育教学成果展示网站建设 哲林高拍仪网站开发凯里网站建设哪家专业 wordpress怎么看网站seo排名优化价格 确定网站界面wordpress能做小程序 惠州建网站微信平台开发公司 wordpress多站点是什么意思天津市建设工程交易管理网站 网站建设注册小程序dede旅游网站模板 网站建设提供书面资料清单全球十大网站排名 wordpress wp-syntax廊坊seo管理 基本型企业网站论文有没有帮忙做问卷调查的网站 seo外包公司怎么样宁波网站搜索引擎优化 企业网站设计过程中必须重视的问题之一中小型电子商务网站 学校网站建设与管理百度seo排名优化费用 玉林建设工程信息网站视频制作软件哪个好用 wordpress 网站为什么打不开杭州抖音代运营 深圳网站建设公司招聘电话销售扑克直播软件app开发 一个空间2个网站代码徐州vi设计公司 网站建设执招标评分表做 暧视频在线观看网站 如何建设网站方便后期维护把静态图片做成动态图片的软件 不懂网站怎么做平台主要干啥 深圳正规网站建设公司学雷锋做美德少年网站 wordpress全站静太化网页拒绝了您的访问 创办一个网站要多少钱编写app 怎么用VS2012建设网站网站开发行业分析 wordpress仿站难吗常州网站建设案例 PHP网站建设计划书上海购房网官网 地方社区网站 备案福州app外包 带后台管理的网站模板wordpress栏目出现404 晋江企业网站建设动易网站后台编辑器无效问题
