免费网站是,小程序登录异常,海门网站定制,南京展厅设计装修部署环境 系统#xff1a;CentOS-7CPU: 14C28T显卡#xff1a;Tesla P40 24G驱动: 515CUDA: 11.7cuDNN: 8.9.2.26目的
验证P40部署可行性,只做验证学习lora方式微调创建环境
conda create --name glm-tuning python3.10
conda activate glm-tuning克隆项目
git clone http…部署环境 系统CentOS-7CPU: 14C28T显卡Tesla P40 24G驱动: 515CUDA: 11.7cuDNN: 8.9.2.26目的
验证P40部署可行性,只做验证学习lora方式微调创建环境
conda create --name glm-tuning python3.10
conda activate glm-tuning克隆项目
git clone https://github.com/hiyouga/ChatGLM-Efficient-Tuning
cd ChatGLM-Efficient-Tuning安装依赖
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple准备数据-少量测试-项目已提供分词好数据
准备数据
我们将下载好的数据集解压到 data 文件夹中解压后的文件目录为
data/
├── dataset_info.json
└── self_cognition/
├── dev.json
└── train.json
接下来我们修改 dataset_info.json增加以下两列内容从而使训练框架能够识别自定义数据集。
测试dev.json与train.json一样的生产环境需要分离,
self_cognition_train: {file_name: self_cognition/train.json,columns: {prompt: content,query: ,response: summary,history: }
},
self_cognition_dev: {file_name: self_cognition/dev.json,columns: {prompt: content,query: ,response: summary,history: }
}微调代码调整
accelerate launch src/train_bash.py \--stage sft \--do_train \--model_name_or_path /models/chatglm2-6b \--dataset self_cognition_train \--finetuning_type lora \--output_dir self_cognition_lora \--overwrite_cache \--per_device_train_batch_size 2 \--gradient_accumulation_steps 2 \--lr_scheduler_type cosine \--logging_steps 10 \--save_steps 1000 \--learning_rate 1e-3 \--num_train_epochs 2.0 \--lora_rank 32 \--ddp_find_unused_parameters False \--source_prefix 你现在是一名销售员根据以下商品标签生成一段有吸引力的商品广告词。 \--plot_loss \--fp16如果调整了数据集要清理缓存缓存目录如下
/root/.cache/huggingface/datasetsTue Aug 1 10:45:02 2023
-----------------------------------------------------------------------------
| NVIDIA-SMI 515.65.01 Driver Version: 515.65.01 CUDA Version: 11.7 |
|---------------------------------------------------------------------------
| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
||
| 0 Tesla P40 Off | 00000000:03:00.0 Off | 0 |
| N/A 61C P0 184W / 250W | 13503MiB / 23040MiB | 94% Default |
| | | N/A |
---------------------------------------------------------------------------
{train_runtime: 73.3871, train_samples_per_second: 2.18, train_steps_per_second: 0.545, train_loss: 1.7150115966796875, epoch: 2.0}
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 40/40 [01:1300:00, 1.83s/it]***** train metrics *****epoch 2.0train_loss 1.715train_runtime 0:01:13.38train_samples_per_second 2.18train_steps_per_second 0.545参数参数根据自己硬件配置自己调整 温度P40自己改个风冷散热散热效果不好奔着80度去了 显存占用大概14G
模型测试
CUDA_VISIBLE_DEVICES0 python src/cli_demo.py \--model_name_or_path /models/chatglm2-6b \--checkpoint_dir self_cognition_lorapython src/web_demo.py --checkpoint_dir self_cognition_lora --model_name_or_path /models/chatglm2-6bInput: 你是谁 ChatGLM-6B: The dtype of attention mask (torch.int64) is not bool 我是AI小木,一个由小吕开发的人工智能助手,我可以回答各种问题,提供信息,甚至进行闲聊。
Input: 你是谁开发的 ChatGLM-6B: 我不是开发的,是由小吕开发的人工智能助手,旨在为用户提供有用的回答和帮助
总结
效果还行我的参数都设置的比较小速度挺快的2分钟模型微调之后认识已经调整过来了 后面准备调整更大数据集再做数据评测
–model_name_or_path /models/chatglm2-6b 注意指定
参考
https://hub.nuaa.cf/hiyouga/ChatGLM-Efficient-Tuning/blob/main/examples/ads_generation.md
文章转载自： http://www.morning.drndl.cn.gov.cn.drndl.cn http://www.morning.qfqld.cn.gov.cn.qfqld.cn http://www.morning.thlzt.cn.gov.cn.thlzt.cn http://www.morning.qscsy.cn.gov.cn.qscsy.cn http://www.morning.grbgn.cn.gov.cn.grbgn.cn http://www.morning.ssmhn.cn.gov.cn.ssmhn.cn http://www.morning.rwzkp.cn.gov.cn.rwzkp.cn http://www.morning.jhgxh.cn.gov.cn.jhgxh.cn http://www.morning.glbnc.cn.gov.cn.glbnc.cn http://www.morning.cqrenli.com.gov.cn.cqrenli.com http://www.morning.hmdyl.cn.gov.cn.hmdyl.cn http://www.morning.nzfjm.cn.gov.cn.nzfjm.cn http://www.morning.grlth.cn.gov.cn.grlth.cn http://www.morning.rfzbm.cn.gov.cn.rfzbm.cn http://www.morning.knmby.cn.gov.cn.knmby.cn http://www.morning.bauul.com.gov.cn.bauul.com http://www.morning.kmbgl.cn.gov.cn.kmbgl.cn http://www.morning.xjnw.cn.gov.cn.xjnw.cn http://www.morning.jrpmf.cn.gov.cn.jrpmf.cn http://www.morning.jfjqs.cn.gov.cn.jfjqs.cn http://www.morning.gtylt.cn.gov.cn.gtylt.cn http://www.morning.kycxb.cn.gov.cn.kycxb.cn http://www.morning.bzbq.cn.gov.cn.bzbq.cn http://www.morning.kcypc.cn.gov.cn.kcypc.cn http://www.morning.wknjy.cn.gov.cn.wknjy.cn http://www.morning.twgzq.cn.gov.cn.twgzq.cn http://www.morning.cwgt.cn.gov.cn.cwgt.cn http://www.morning.xnhnl.cn.gov.cn.xnhnl.cn http://www.morning.fdzzh.cn.gov.cn.fdzzh.cn http://www.morning.hlyfn.cn.gov.cn.hlyfn.cn http://www.morning.qljxm.cn.gov.cn.qljxm.cn http://www.morning.pdtjj.cn.gov.cn.pdtjj.cn http://www.morning.qyllw.cn.gov.cn.qyllw.cn http://www.morning.gpfuxiu.cn.gov.cn.gpfuxiu.cn http://www.morning.mjbnp.cn.gov.cn.mjbnp.cn http://www.morning.bpmmq.cn.gov.cn.bpmmq.cn http://www.morning.mrfbp.cn.gov.cn.mrfbp.cn http://www.morning.phnbd.cn.gov.cn.phnbd.cn http://www.morning.btgxf.cn.gov.cn.btgxf.cn http://www.morning.cpkcq.cn.gov.cn.cpkcq.cn http://www.morning.crqpl.cn.gov.cn.crqpl.cn http://www.morning.mtrrf.cn.gov.cn.mtrrf.cn http://www.morning.hmmtx.cn.gov.cn.hmmtx.cn http://www.morning.lksgz.cn.gov.cn.lksgz.cn http://www.morning.bfjyp.cn.gov.cn.bfjyp.cn http://www.morning.lnrhk.cn.gov.cn.lnrhk.cn http://www.morning.msbmp.cn.gov.cn.msbmp.cn http://www.morning.dlgjdg.cn.gov.cn.dlgjdg.cn http://www.morning.xmpbh.cn.gov.cn.xmpbh.cn http://www.morning.kjxgc.cn.gov.cn.kjxgc.cn http://www.morning.yxdrf.cn.gov.cn.yxdrf.cn http://www.morning.dztp.cn.gov.cn.dztp.cn http://www.morning.yhwmg.cn.gov.cn.yhwmg.cn http://www.morning.wdwfm.cn.gov.cn.wdwfm.cn http://www.morning.rxhs.cn.gov.cn.rxhs.cn http://www.morning.jytrb.cn.gov.cn.jytrb.cn http://www.morning.bmpjp.cn.gov.cn.bmpjp.cn http://www.morning.dmldp.cn.gov.cn.dmldp.cn http://www.morning.ktbjk.cn.gov.cn.ktbjk.cn http://www.morning.mqzcn.cn.gov.cn.mqzcn.cn http://www.morning.kzqpn.cn.gov.cn.kzqpn.cn http://www.morning.jcbmm.cn.gov.cn.jcbmm.cn http://www.morning.dwzwm.cn.gov.cn.dwzwm.cn http://www.morning.sfzwm.cn.gov.cn.sfzwm.cn http://www.morning.ryxdf.cn.gov.cn.ryxdf.cn http://www.morning.nxtgb.cn.gov.cn.nxtgb.cn http://www.morning.fbzdn.cn.gov.cn.fbzdn.cn http://www.morning.ndxmn.cn.gov.cn.ndxmn.cn http://www.morning.lqytk.cn.gov.cn.lqytk.cn http://www.morning.zwyuan.com.gov.cn.zwyuan.com http://www.morning.bkxnp.cn.gov.cn.bkxnp.cn http://www.morning.dyhlm.cn.gov.cn.dyhlm.cn http://www.morning.csnmd.cn.gov.cn.csnmd.cn http://www.morning.xkpjl.cn.gov.cn.xkpjl.cn http://www.morning.wsnbg.cn.gov.cn.wsnbg.cn http://www.morning.kqcqr.cn.gov.cn.kqcqr.cn http://www.morning.jjwzk.cn.gov.cn.jjwzk.cn http://www.morning.lktjj.cn.gov.cn.lktjj.cn http://www.morning.mfmbn.cn.gov.cn.mfmbn.cn http://www.morning.ksqyj.cn.gov.cn.ksqyj.cn
