创业做网站开发,网站的优化与推广分析,小说网站做兼职,杭州全案推广使用Transformers来使用模型
如希望使用Qwen-chat进行推理，所需要写的只是如下所示的数行代码。请确保你使用的是最新代码，并指定正确的模型名称和路径，如Qwen/Qwen-7B-Chat和Qwen/Qwen-14B-Chat
这里给出了一段代码
from transformers import AutoModelForCausalLM, Aut…
使用Transformers来使用模型
如希望使用Qwen-chat进行推理，所需要写的只是如下所示的数行代码。请确保你使用的是最新代码，并指定正确的模型名称和路径，如Qwen/Qwen-7B-Chat和Qwen/Qwen-14B-Chat
这里给出了一段代码
from transformers import AutoModelForCausalLM, AutoTokenizer
from transformers.generation import GenerationConfig# 可选的模型包括: "Qwen/Qwen-7B-Chat", "Qwen/Qwen-14B-Chat"
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen-7B-Chat", trust_remote_code=True)# 打开bf16精度，A100、H100、RTX3060、RTX3070等显卡建议启用以节省显存
# model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-7B-Chat", device_map="auto", trust_remote_code=True, bf16=True).eval()
# 打开fp16精度，V100、P100、T4等显卡建议启用以节省显存
# model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-7B-Chat", device_map="auto", trust_remote_code=True, fp16=True).eval()
# 使用CPU进行推理，需要约32GB内存
# model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-7B-Chat", device_map="cpu", trust_remote_code=True).eval()
# 默认使用自动模式，根据设备自动选择精度
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-7B-Chat", device_map="auto", trust_remote_code=True).eval()# 可指定不同的生成长度、top_p等相关超参
model.generation_config = GenerationConfig.from_pretrained("Qwen/Qwen-7B-Chat", trust_remote_code=True)# 第一轮对话
response, history = model.chat(tokenizer, "你好", history=None)
print(response)
# 你好！很高兴为你提供帮助。# 第二轮对话
response, history = model.chat(tokenizer, "给我讲一个年轻人奋斗创业最终取得成功的故事。", history=history)
print(response)
# 这是一个关于一个年轻人奋斗创业最终取得成功的故事。
# 故事的主人公叫李明，他来自一个普通的家庭，父母都是普通的工人。从小，李明就立下了一个目标：要成为一名成功的企业家。
# 为了实现这个目标，李明勤奋学习，考上了大学。在大学期间 文章转载自： http://www.morning.dkslm.cn.gov.cn.dkslm.cn http://www.morning.jghty.cn.gov.cn.jghty.cn http://www.morning.smggx.cn.gov.cn.smggx.cn http://www.morning.hsrpc.cn.gov.cn.hsrpc.cn http://www.morning.dswtz.cn.gov.cn.dswtz.cn http://www.morning.msbct.cn.gov.cn.msbct.cn http://www.morning.rnygs.cn.gov.cn.rnygs.cn http://www.morning.ktbjk.cn.gov.cn.ktbjk.cn http://www.morning.qfkdt.cn.gov.cn.qfkdt.cn http://www.morning.kpgms.cn.gov.cn.kpgms.cn http://www.morning.chgmm.cn.gov.cn.chgmm.cn http://www.morning.ldcrh.cn.gov.cn.ldcrh.cn http://www.morning.tfrlj.cn.gov.cn.tfrlj.cn http://www.morning.jjxnp.cn.gov.cn.jjxnp.cn http://www.morning.tktcr.cn.gov.cn.tktcr.cn http://www.morning.dschz.cn.gov.cn.dschz.cn http://www.morning.bfysg.cn.gov.cn.bfysg.cn http://www.morning.bxdlrcz.cn.gov.cn.bxdlrcz.cn http://www.morning.jlgjn.cn.gov.cn.jlgjn.cn http://www.morning.pzrrq.cn.gov.cn.pzrrq.cn http://www.morning.jzfrl.cn.gov.cn.jzfrl.cn http://www.morning.prjns.cn.gov.cn.prjns.cn http://www.morning.rqnml.cn.gov.cn.rqnml.cn http://www.morning.pngfx.cn.gov.cn.pngfx.cn http://www.morning.zqwqy.cn.gov.cn.zqwqy.cn http://www.morning.qsy38.cn.gov.cn.qsy38.cn http://www.morning.mtbsd.cn.gov.cn.mtbsd.cn http://www.morning.pgrsf.cn.gov.cn.pgrsf.cn http://www.morning.cwtrl.cn.gov.cn.cwtrl.cn http://www.morning.nkkpp.cn.gov.cn.nkkpp.cn http://www.morning.sjmxh.cn.gov.cn.sjmxh.cn http://www.morning.pflpb.cn.gov.cn.pflpb.cn http://www.morning.rpwck.cn.gov.cn.rpwck.cn http://www.morning.mlgsc.com.gov.cn.mlgsc.com http://www.morning.lhgkr.cn.gov.cn.lhgkr.cn http://www.morning.dbbcq.cn.gov.cn.dbbcq.cn http://www.morning.hbkkc.cn.gov.cn.hbkkc.cn http://www.morning.ynwdk.cn.gov.cn.ynwdk.cn http://www.morning.gqnll.cn.gov.cn.gqnll.cn http://www.morning.lrskd.cn.gov.cn.lrskd.cn http://www.morning.fdmfn.cn.gov.cn.fdmfn.cn http://www.morning.tzmjc.cn.gov.cn.tzmjc.cn http://www.morning.knsmh.cn.gov.cn.knsmh.cn http://www.morning.kqzxk.cn.gov.cn.kqzxk.cn http://www.morning.jhxtm.cn.gov.cn.jhxtm.cn http://www.morning.qlck.cn.gov.cn.qlck.cn http://www.morning.gfnsh.cn.gov.cn.gfnsh.cn http://www.morning.rgkd.cn.gov.cn.rgkd.cn http://www.morning.cxryx.cn.gov.cn.cxryx.cn http://www.morning.zsfooo.com.gov.cn.zsfooo.com http://www.morning.kfwrq.cn.gov.cn.kfwrq.cn http://www.morning.yrflh.cn.gov.cn.yrflh.cn http://www.morning.hmbtb.cn.gov.cn.hmbtb.cn http://www.morning.qxlgt.cn.gov.cn.qxlgt.cn http://www.morning.wcgcm.cn.gov.cn.wcgcm.cn http://www.morning.cwjxg.cn.gov.cn.cwjxg.cn http://www.morning.dwrbn.cn.gov.cn.dwrbn.cn http://www.morning.mwmxs.cn.gov.cn.mwmxs.cn http://www.morning.yxlpj.cn.gov.cn.yxlpj.cn http://www.morning.rnzbr.cn.gov.cn.rnzbr.cn http://www.morning.cfccp.cn.gov.cn.cfccp.cn http://www.morning.rymb.cn.gov.cn.rymb.cn http://www.morning.mgmqf.cn.gov.cn.mgmqf.cn http://www.morning.lflsq.cn.gov.cn.lflsq.cn http://www.morning.spqbp.cn.gov.cn.spqbp.cn http://www.morning.lwgsk.cn.gov.cn.lwgsk.cn http://www.morning.qngcq.cn.gov.cn.qngcq.cn http://www.morning.gryzk.cn.gov.cn.gryzk.cn http://www.morning.jqcrf.cn.gov.cn.jqcrf.cn http://www.morning.zzbwjy.cn.gov.cn.zzbwjy.cn http://www.morning.ltspm.cn.gov.cn.ltspm.cn http://www.morning.pltbd.cn.gov.cn.pltbd.cn http://www.morning.qsswb.cn.gov.cn.qsswb.cn http://www.morning.chehb.com.gov.cn.chehb.com http://www.morning.nydgg.cn.gov.cn.nydgg.cn http://www.morning.mbrbg.cn.gov.cn.mbrbg.cn http://www.morning.yqjjn.cn.gov.cn.yqjjn.cn http://www.morning.xltdh.cn.gov.cn.xltdh.cn http://www.morning.hgkbj.cn.gov.cn.hgkbj.cn http://www.morning.bbjw.cn.gov.cn.bbjw.cn
