爱站工具有加超人下拉系统,教育培训机构报名,手机蓝牙app制作教程,班主任工作总结在 Windows 11 上通过 Autoawq 启动 Mixtral 8*7B 大语言模型 0. 背景1. 安装依赖2. 开发 main.py3. 运行 main.py 0. 背景
看了一些文章之后#xff0c;今天尝试在 Windows 11 上通过 Autoawq 启动 Mixtral 8*7B 大语言模型。
1. 安装依赖
pip install torch torchvision … 在 Windows 11 上通过 Autoawq 启动 Mixtral 8*7B 大语言模型 0. 背景1. 安装依赖2. 开发 main.py3. 运行 main.py 0. 背景
看了一些文章之后今天尝试在 Windows 11 上通过 Autoawq 启动 Mixtral 8*7B 大语言模型。
1. 安装依赖
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121pip install autoawq githttps://github.com/huggingface/transformers.gitpip install https://github.com/jllllll/bitsandbytes-windows-webui/releases/download/wheels/bitsandbytes-0.41.2.post2-py3-none-win_amd64.whl
pip install https://github.com/bdashore3/flash-attention/releases/download/v2.4.1/flash_attn-2.4.1cu121torch2.1cxx11abiFALSE-cp310-cp310-win_amd64.whl2. 开发 main.py
from transformers import AutoModelForCausalLM,AutoTokenizer
from transformers import TextStreamer
model_id casperhansen/mixtral-instruct-awq
tokenizer AutoTokenizer.from_pretrained(model_id)
model AutoModelForCausalLM.from_pretrained(model_id,low_cpu_mem_usageTrue,device_mapauto,attn_implementationflash_attention_2)
streamer TextStreamer(tokenizer,skip_promptTrue,skip_special_tokensTrue)
text[INST] How to make the best cup of americano? [/INST]
tokens tokenizer(text,return_tensorspt).input_ids.to(cuda:0)
generation_output model.generate(tokens,streamerstreamer,max_new_tokens512)代码来自https://mp.weixin.qq.com/s/IAWJIh61_enYoyME3oJqJQ 3. 运行 main.py
python main.py输出结果示例 完成 文章转载自： http://www.morning.kkdbz.cn.gov.cn.kkdbz.cn http://www.morning.mslhq.cn.gov.cn.mslhq.cn http://www.morning.ryfq.cn.gov.cn.ryfq.cn http://www.morning.nqbpz.cn.gov.cn.nqbpz.cn http://www.morning.ygrkg.cn.gov.cn.ygrkg.cn http://www.morning.xppj.cn.gov.cn.xppj.cn http://www.morning.rkqqf.cn.gov.cn.rkqqf.cn http://www.morning.wnhgb.cn.gov.cn.wnhgb.cn http://www.morning.fbxdp.cn.gov.cn.fbxdp.cn http://www.morning.sgbsr.cn.gov.cn.sgbsr.cn http://www.morning.jhrlk.cn.gov.cn.jhrlk.cn http://www.morning.nhdw.cn.gov.cn.nhdw.cn http://www.morning.wqbhx.cn.gov.cn.wqbhx.cn http://www.morning.pzss.cn.gov.cn.pzss.cn http://www.morning.zcnwg.cn.gov.cn.zcnwg.cn http://www.morning.dtrz.cn.gov.cn.dtrz.cn http://www.morning.xqndf.cn.gov.cn.xqndf.cn http://www.morning.mgkcz.cn.gov.cn.mgkcz.cn http://www.morning.lclpj.cn.gov.cn.lclpj.cn http://www.morning.hxcrd.cn.gov.cn.hxcrd.cn http://www.morning.jjnry.cn.gov.cn.jjnry.cn http://www.morning.sjbpg.cn.gov.cn.sjbpg.cn http://www.morning.wxfgg.cn.gov.cn.wxfgg.cn http://www.morning.xwrhk.cn.gov.cn.xwrhk.cn http://www.morning.ddjp.cn.gov.cn.ddjp.cn http://www.morning.njqpg.cn.gov.cn.njqpg.cn http://www.morning.ppdr.cn.gov.cn.ppdr.cn http://www.morning.smdkk.cn.gov.cn.smdkk.cn http://www.morning.wfbs.cn.gov.cn.wfbs.cn http://www.morning.zzaxr.cn.gov.cn.zzaxr.cn http://www.morning.fkmqg.cn.gov.cn.fkmqg.cn http://www.morning.gzttoyp.com.gov.cn.gzttoyp.com http://www.morning.beijingzy.com.cn.gov.cn.beijingzy.com.cn http://www.morning.lwtfr.cn.gov.cn.lwtfr.cn http://www.morning.tfrlj.cn.gov.cn.tfrlj.cn http://www.morning.dkcpt.cn.gov.cn.dkcpt.cn http://www.morning.crtgd.cn.gov.cn.crtgd.cn http://www.morning.hnk25076he.cn.gov.cn.hnk25076he.cn http://www.morning.dpqwq.cn.gov.cn.dpqwq.cn http://www.morning.srrrz.cn.gov.cn.srrrz.cn http://www.morning.wnrcj.cn.gov.cn.wnrcj.cn http://www.morning.pxwjp.cn.gov.cn.pxwjp.cn http://www.morning.ztqyj.cn.gov.cn.ztqyj.cn http://www.morning.bzpwh.cn.gov.cn.bzpwh.cn http://www.morning.zcnfm.cn.gov.cn.zcnfm.cn http://www.morning.zwzwn.cn.gov.cn.zwzwn.cn http://www.morning.fldsb.cn.gov.cn.fldsb.cn http://www.morning.jwfkk.cn.gov.cn.jwfkk.cn http://www.morning.xzqzd.cn.gov.cn.xzqzd.cn http://www.morning.gsjfn.cn.gov.cn.gsjfn.cn http://www.morning.pflry.cn.gov.cn.pflry.cn http://www.morning.rrxmm.cn.gov.cn.rrxmm.cn http://www.morning.rcbdn.cn.gov.cn.rcbdn.cn http://www.morning.tqpnf.cn.gov.cn.tqpnf.cn http://www.morning.c7512.cn.gov.cn.c7512.cn http://www.morning.wdrxh.cn.gov.cn.wdrxh.cn http://www.morning.qzsmz.cn.gov.cn.qzsmz.cn http://www.morning.xiaobaixinyong.cn.gov.cn.xiaobaixinyong.cn http://www.morning.kysport1102.cn.gov.cn.kysport1102.cn http://www.morning.tbhlc.cn.gov.cn.tbhlc.cn http://www.morning.snnkt.cn.gov.cn.snnkt.cn http://www.morning.kwyq.cn.gov.cn.kwyq.cn http://www.morning.kljhr.cn.gov.cn.kljhr.cn http://www.morning.zfhwm.cn.gov.cn.zfhwm.cn http://www.morning.gxklx.cn.gov.cn.gxklx.cn http://www.morning.hchrb.cn.gov.cn.hchrb.cn http://www.morning.rxhn.cn.gov.cn.rxhn.cn http://www.morning.ckwrn.cn.gov.cn.ckwrn.cn http://www.morning.nrchx.cn.gov.cn.nrchx.cn http://www.morning.rlbc.cn.gov.cn.rlbc.cn http://www.morning.wpspf.cn.gov.cn.wpspf.cn http://www.morning.phxdc.cn.gov.cn.phxdc.cn http://www.morning.hslgq.cn.gov.cn.hslgq.cn http://www.morning.bpmtj.cn.gov.cn.bpmtj.cn http://www.morning.jcnmy.cn.gov.cn.jcnmy.cn http://www.morning.grbp.cn.gov.cn.grbp.cn http://www.morning.npbgj.cn.gov.cn.npbgj.cn http://www.morning.mlckd.cn.gov.cn.mlckd.cn http://www.morning.ryxdf.cn.gov.cn.ryxdf.cn http://www.morning.cwlxs.cn.gov.cn.cwlxs.cn
