网站建设标志图,怎么用自助网站,建设网站费怎么入账,做网站有一个火箭回顶部实际问题场景#xff1a;
使用llamafactory进行微调qwen2.5 7B和14B的大模型时#xff0c;会出现out of memory的报错。尝试使用降低batch_size#xff08;原本是2#xff0c;现在降到1#xff09;的方式#xff0c;可以让qwen2.5:7B跑起来#xff0c;但时不时会不稳定…实际问题场景
使用llamafactory进行微调qwen2.5 7B和14B的大模型时会出现out of memory的报错。尝试使用降低batch_size原本是2现在降到1的方式可以让qwen2.5:7B跑起来但时不时会不稳定还是会报这个错误微调14B的话直接就报错了根本跑起来。显卡配置为两张23G的4090显卡显存一共46G目测lora微调显存的大小是模型本身大小的3倍以上才能正常跑起来。
解决办法:
去qwen的官网找到下载ds_config_zero3.json这个文件 https://github.com/QwenLM/Qwen/blob/main/finetune/ds_config_zero3.json将文件放在llamafactory目录下编辑ds_config_zero3.json这个文件将device改成cpu即可
zero_optimization: {stage: 3,offload_optimizer: {device: cpu,pin_memory: true},offload_param: {device: cpu,pin_memory: true},注: 若不知道这个配置的代表什么含义的话可以看这一篇deepspeed配置讲解
启动llamafactory-cli webui 把参数设置好然后预览下启动命令复制出来将命令复制出来 在llamafactory当前目录下直接粘贴启动就大功告成了 据说更大的模型都可以训练只是需要的时间很多没办法时间换空间是这样了
启动后查看显卡使用情况显卡直接拉满
命令nvitop 如果没有这个命令pip install nvitop 就可以实时查看显卡使用情况了
起飞
