当前位置：首页 > news >正文

做设计不进设计公司网站广东律师事务所东莞网站建设

news 2025/10/20 21:07:36

做设计不进设计公司网站,广东律师事务所东莞网站建设,一键优化免费下载,池州集团网站建设国产大模型ChatGLM-6B微调部署入门-使用Pycharm实战 1.ChatGLM模型介绍 ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型#xff0c;基于 General Language Model (GLM) 架构#xff0c;具有 62 亿参数。结合模型量化技术#xff0c;用户可以在消费级的显卡上进行本…国产大模型ChatGLM-6B微调部署入门-使用Pycharm实战 1.ChatGLM模型介绍 ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型基于 General Language Model (GLM) 架构具有 62 亿参数。结合模型量化技术用户可以在消费级的显卡上进行本地部署INT4 量化级别下最低只需 6GB 显存。 ChatGLM-6B 使用了和 ChatGPT 相似的技术针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练辅以监督微调、反馈自助、人类反馈强化学习等技术的加持62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。详细信息请参考: 链接. 2. 大模型参数微调因为大模型参数比较多不论是重新预训练还是微调相应的硬件成本和人工成本也比较高为了解决这一问题网上主要涌现了基于Lora 和基于 P-Tuning v2 的高效参数微调方法两者的原理如下 P-Tuning v2相当于在模型每层的embedding层和Self-Attention部分拼接可训练的参数在微调时只更新这部分参数为主上图中黄色部分即为每层新增的可训练参数 LoRA:相当于对原始全量参数矩阵做低秩分解在微调时整体参数不动只更新新增的参数然后再训练完成之后将其和原始全量参数合并从而达到微调的目的途中橙色的梯形为新增参数在训练完之后会和原始模型参数作合并形成h 在这个过程中参数优化两从dd下降到 2r*d这部分涉及到举证的低秩分解感兴趣的同学可以去学习一下相关的矩阵论知识那么这两种微调方法有哪些异同点呢相同点都是固定原始大模型参数不动通过新增可训练参数微调然后与原始模型参数共同作用从而起到微调大模型参数的效果异同点新增加参数的方式不同其次LoRA的方式不会增加推理时间因为参数在推理时整体的还是d*d对于这里感兴趣的同学可以了解这篇文章. 3. P-Tuning 微调实战ChatGLM-6B模型 3.1 chatglm-6b训练环境构建官网微调链接其中给的微调环境配置如下 protobuf transformers4.27.1 cpm_kernels torch1.10 gradio mdtex2html sentencepiece accelerate但是在实际搭建环境的过程中要考虑到自己的硬件设备主要GPU驱动这块。我的硬件设备信息如下系统 Windows 10GPU算力:3060 12GCPU型号16核 32G 因为主要是显卡驱动这块需要适配所以我把我的驱动信息附图显示显卡驱动为512.29CUDA版本为11.6因此在配torch环境时需要适配我的anaconda环境版本安装如下 Package Version ----------------------------- ------------ aiofiles 22.1.0 aiohttp 3.8.4 aiosignal 1.3.1 aiosqlite 0.18.0 altair 4.2.2 anaconda-client 1.11.1 anaconda-navigator 2.4.0 anaconda-project 0.11.1 anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 asttokens 2.0.5 async-timeout 4.0.2 attrs 22.1.0 Babel 2.11.0 backcall 0.2.0 backports.functools-lru-cache 1.6.4 backports.tempfile 1.0 backports.weakref 1.0.post1 beautifulsoup4 4.12.2 bleach 4.1.0 boltons 23.0.0 brotlipy 0.7.0 certifi 2023.5.7 cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4 click 8.0.4 clyent 1.2.2 colorama 0.4.6 coloredlogs 15.0.1 comm 0.1.2 conda 23.5.2 conda-build 3.23.3 conda-content-trust 0.1.3 conda-pack 0.6.0 conda-package-handling 2.0.2 conda_package_streaming 0.7.0 conda-repo-cli 1.0.41 conda-token 0.4.0 conda-verify 3.4.2 cpm-kernels 1.0.11 cryptography 39.0.1 datasets 2.11.0 debugpy 1.5.1 decorator 5.1.1 defusedxml 0.7.1 dill 0.3.6 entrypoints 0.4 executing 0.8.3 fastapi 0.95.0 fastjsonschema 2.16.2 ffmpy 0.3.0 filelock 3.9.0 flatbuffers 23.5.26 frozenlist 1.3.3 fsspec 2023.6.0 fst-pso 1.8.1 future 0.18.3 FuzzyTM 2.0.5 glob2 0.7 gradio 3.24.1 gradio_client 0.0.8 h11 0.14.0 httpcore 0.16.3 httpx 0.23.3 huggingface-hub 0.16.4 humanfriendly 10.0 icetk 0.0.4 idna 3.4 ipykernel 6.19.2 ipython 8.12.0 ipython-genutils 0.2.0 ipywidgets 8.0.4 jedi 0.18.1 jieba 0.42.1 Jinja2 3.1.2 joblib 1.3.1 json5 0.9.6 jsonpatch 1.32 jsonpointer 2.1 jsonschema 4.17.3 jupyter 1.0.0 jupyter_client 8.1.0 jupyter-console 6.6.3 jupyter_core 5.3.0 jupyter-events 0.6.3 jupyter_server 2.5.0 jupyter_server_fileid 0.9.0 jupyter_server_terminals 0.4.4 jupyter_server_ydoc 0.8.0 jupyter-ydoc 0.2.4 jupyterlab 3.6.3 jupyterlab-pygments 0.1.2 jupyterlab_server 2.22.0 jupyterlab-widgets 3.0.5 latex2mathml 3.75.2 libarchive-c 2.9 linkify-it-py 2.0.0 loguru 0.7.0 lxml 4.9.2 markdown-it-py 2.2.0 MarkupSafe 2.1.1 matplotlib-inline 0.1.6 mdit-py-plugins 0.3.3 mdtex2html 1.2.0 mdurl 0.1.2 menuinst 1.4.19 miniful 0.0.6 mistune 0.8.4 mpmath 1.3.0 multidict 6.0.4 multiprocess 0.70.14 navigator-updater 0.4.0 nbclassic 0.5.5 nbclient 0.5.13 nbconvert 6.5.4 nbformat 5.7.0 nest-asyncio 1.5.6 nltk 3.8.1 notebook 6.5.4 notebook_shim 0.2.2 numpy 1.25.1 onnx 1.14.0 onnxruntime-gpu 1.14.1 openai 0.27.4 orjson 3.8.10 packaging 23.0 pandas 2.0.3 pandocfilters 1.5.0 parso 0.8.3 pathlib 1.0.1 pickleshare 0.7.5 Pillow 9.4.0 pip 23.1.2 pkginfo 1.9.6 platformdirs 2.5.2 pluggy 1.0.0 ply 3.11 prometheus-client 0.14.1 prompt-toolkit 3.0.36 protobuf 4.23.4 psutil 5.9.0 pure-eval 0.2.2 pyarrow 11.0.0 pycosat 0.6.4 pycparser 2.21 pydantic 1.10.7 pydub 0.25.1 pyFUME 0.2.25 Pygments 2.15.1 PyJWT 2.4.0 pyOpenSSL 23.0.0 PyQt5 5.15.7 PyQt5-sip 12.11.0 pyreadline3 3.4.1 pyrsistent 0.18.0 PySocks 1.7.1 python-dateutil 2.8.2 python-json-logger 2.0.7 python-multipart 0.0.6 pytz 2022.7 pywin32 305.1 pywinpty 2.0.10 PyYAML 6.0 pyzmq 25.1.0 qtconsole 5.4.2 QtPy 2.2.0 regex 2023.6.3 requests 2.29.0 responses 0.18.0 rfc3339-validator 0.1.4 rfc3986 1.5.0 rfc3986-validator 0.1.1 rouge-chinese 1.0.3 ruamel.yaml 0.17.21 ruamel.yaml.clib 0.2.6 ruamel-yaml-conda 0.17.21 safetensors 0.3.1 semantic-version 2.10.0 Send2Trash 1.8.0 sentencepiece 0.1.97 setuptools 65.6.3 simpful 2.10.0 sip 6.6.2 six 1.16.0 sklearn 0.0.post7 sniffio 1.2.0 soupsieve 2.4 stack-data 0.2.0 starlette 0.26.1 sympy 1.12 terminado 0.17.1 text2vec 1.1.7 textvec 3.0 tinycss2 1.2.1 tokenizers 0.13.3 toml 0.10.2 tomli 2.0.1 toolz 0.12.0 torch 1.13.1cu116 torchaudio 0.13.1cu116 torchvision 0.14.1cu116 tornado 6.2 tqdm 4.65.0 traitlets 5.7.1 transformers 4.27.1 typing_extensions 4.6.3 tzdata 2023.3 uc-micro-py 1.0.1 ujson 5.4.0 urllib3 1.26.16 uvicorn 0.21.1 wcwidth 0.2.5 webencodings 0.5.1 websocket-client 0.58.0 websockets 11.0.1 wheel 0.38.4 widgetsnbextension 4.0.5 win-inet-pton 1.1.0 win32-setctime 1.1.0 wincertstore 0.2 xxhash 3.2.0 y-py 0.5.9 yarl 1.8.2 ypy-websocket 0.8.2 zstandard 0.19.03.2 代码构建 3.2.1 拉取数据和代码在搭建好代码运行环境后我们需要从官方拉取代码下载相应数据代码拉取地址链接数据拉取地址链接 3.2.2 使用pycharm配置参数整个代码框架如下图所示将数据集加压拷贝到ptuning即可点击main.py的参数配置界面配置初始化参数参数配置如下 --do_train --train_file AdvertiseGen/train.json --validation_file AdvertiseGen/dev.json --prompt_column content --response_column summary --overwrite_cache --model_name_or_path THUDM/chatglm-6b --output_dir output/adver_out --overwrite_output_dir --max_source_length 64 --max_target_length 64 --per_device_train_batch_size 1 --per_device_eval_batch_size 1 --gradient_accumulation_steps 16 --predict_with_generate --max_steps 3000 --logging_steps 10 --save_steps 1000 --learning_rate 2e-2 --pre_seq_len 128 --quantization_bit 43.3 执行训练点击运行按钮即可看到执行日志在微调过程中内存占用7G左右耗时10小时后续等模型训练完毕之后再更新相关效果大家如果在微调的过程中遇到什么问题或者有想法可以一起留言交流
文章转载自：
http://www.morning.mmjqk.cn.gov.cn.mmjqk.cn
http://www.morning.gwqcr.cn.gov.cn.gwqcr.cn
http://www.morning.bqwrn.cn.gov.cn.bqwrn.cn
http://www.morning.pmtky.cn.gov.cn.pmtky.cn
http://www.morning.kkwgg.cn.gov.cn.kkwgg.cn
http://www.morning.njftk.cn.gov.cn.njftk.cn
http://www.morning.wrbf.cn.gov.cn.wrbf.cn
http://www.morning.yfddl.cn.gov.cn.yfddl.cn
http://www.morning.pwqyd.cn.gov.cn.pwqyd.cn
http://www.morning.wdjcr.cn.gov.cn.wdjcr.cn
http://www.morning.bmqls.cn.gov.cn.bmqls.cn
http://www.morning.clkjn.cn.gov.cn.clkjn.cn
http://www.morning.kybpj.cn.gov.cn.kybpj.cn
http://www.morning.jynzb.cn.gov.cn.jynzb.cn
http://www.morning.hnhsym.cn.gov.cn.hnhsym.cn
http://www.morning.snnb.cn.gov.cn.snnb.cn
http://www.morning.xptkl.cn.gov.cn.xptkl.cn
http://www.morning.jsxrm.cn.gov.cn.jsxrm.cn
http://www.morning.hotlads.com.gov.cn.hotlads.com
http://www.morning.zfhwm.cn.gov.cn.zfhwm.cn
http://www.morning.rxyz.cn.gov.cn.rxyz.cn
http://www.morning.kfjnx.cn.gov.cn.kfjnx.cn
http://www.morning.sfyqs.cn.gov.cn.sfyqs.cn
http://www.morning.jpdbj.cn.gov.cn.jpdbj.cn
http://www.morning.qsmdd.cn.gov.cn.qsmdd.cn
http://www.morning.xgkxy.cn.gov.cn.xgkxy.cn
http://www.morning.crxdn.cn.gov.cn.crxdn.cn
http://www.morning.lqjlg.cn.gov.cn.lqjlg.cn
http://www.morning.lsnhs.cn.gov.cn.lsnhs.cn
http://www.morning.kfyjh.cn.gov.cn.kfyjh.cn
http://www.morning.rcttz.cn.gov.cn.rcttz.cn
http://www.morning.pqwrg.cn.gov.cn.pqwrg.cn
http://www.morning.qrksj.cn.gov.cn.qrksj.cn
http://www.morning.ryxdr.cn.gov.cn.ryxdr.cn
http://www.morning.mhnb.cn.gov.cn.mhnb.cn
http://www.morning.jxjrm.cn.gov.cn.jxjrm.cn
http://www.morning.ssqrd.cn.gov.cn.ssqrd.cn
http://www.morning.mcjp.cn.gov.cn.mcjp.cn
http://www.morning.tqgmd.cn.gov.cn.tqgmd.cn
http://www.morning.wrlqr.cn.gov.cn.wrlqr.cn
http://www.morning.ftmzy.cn.gov.cn.ftmzy.cn
http://www.morning.rwlnk.cn.gov.cn.rwlnk.cn
http://www.morning.fglzk.cn.gov.cn.fglzk.cn
http://www.morning.tktcr.cn.gov.cn.tktcr.cn
http://www.morning.ybmp.cn.gov.cn.ybmp.cn
http://www.morning.psqs.cn.gov.cn.psqs.cn
http://www.morning.llxns.cn.gov.cn.llxns.cn
http://www.morning.pqnps.cn.gov.cn.pqnps.cn
http://www.morning.xysdy.cn.gov.cn.xysdy.cn
http://www.morning.qpfmh.cn.gov.cn.qpfmh.cn
http://www.morning.lizimc.com.gov.cn.lizimc.com
http://www.morning.bssjz.cn.gov.cn.bssjz.cn
http://www.morning.rwnx.cn.gov.cn.rwnx.cn
http://www.morning.hlwzd.cn.gov.cn.hlwzd.cn
http://www.morning.tqrbl.cn.gov.cn.tqrbl.cn
http://www.morning.bwkzn.cn.gov.cn.bwkzn.cn
http://www.morning.wglhz.cn.gov.cn.wglhz.cn
http://www.morning.pqhgn.cn.gov.cn.pqhgn.cn
http://www.morning.klrpm.cn.gov.cn.klrpm.cn
http://www.morning.lwtld.cn.gov.cn.lwtld.cn
http://www.morning.qbwtb.cn.gov.cn.qbwtb.cn
http://www.morning.smrkf.cn.gov.cn.smrkf.cn
http://www.morning.rdtp.cn.gov.cn.rdtp.cn
http://www.morning.jtnph.cn.gov.cn.jtnph.cn
http://www.morning.sthgm.cn.gov.cn.sthgm.cn
http://www.morning.pbpcj.cn.gov.cn.pbpcj.cn
http://www.morning.wnjsp.cn.gov.cn.wnjsp.cn
http://www.morning.qwfq.cn.gov.cn.qwfq.cn
http://www.morning.snjpj.cn.gov.cn.snjpj.cn
http://www.morning.hfnbr.cn.gov.cn.hfnbr.cn
http://www.morning.deanzhu.com.gov.cn.deanzhu.com
http://www.morning.lhptg.cn.gov.cn.lhptg.cn
http://www.morning.zlhbg.cn.gov.cn.zlhbg.cn
http://www.morning.routalr.cn.gov.cn.routalr.cn
http://www.morning.nbwyk.cn.gov.cn.nbwyk.cn
http://www.morning.klpwl.cn.gov.cn.klpwl.cn
http://www.morning.nldsd.cn.gov.cn.nldsd.cn
http://www.morning.gqksd.cn.gov.cn.gqksd.cn
http://www.morning.nqbs.cn.gov.cn.nqbs.cn
http://www.morning.btwrj.cn.gov.cn.btwrj.cn

查看全文

http://www.tj-hxxt.cn/news/235020.html