深圳网站设计与开发,wordpress网站白屏,南昌网站建设方案推广,做网站准备材料self.register_buffer就是pytorch框架用来保存不更新参数的方法。
列子如下#xff1a;
self.register_buffer(position_emb, torch.randn((5, 3)))第一个参数position_emb传入一个字符串#xff0c;表示这组参数的名字#xff0c;第二个就是tensor形式的参数…self.register_buffer就是pytorch框架用来保存不更新参数的方法。
列子如下
self.register_buffer(position_emb, torch.randn((5, 3)))第一个参数position_emb传入一个字符串表示这组参数的名字第二个就是tensor形式的参数torch.randn((5, 3),并一次初始化后保存于模型不会有梯度传播给它能被模型的model.state_dict()记录下来可以理解为模型的常数。当然你想保留固定值使用如下代码
self.register_buffer(position_emb, torch.tensorrt([[2,5],[8,9]]))进一步探讨训练对该参数是否有影响答案是:没影响。具体可看下面实现的列子代码
import torch
from torch.nn import Embeddingclass Model(torch.nn.Module):def __init__(self):super(Model, self).__init__()self.emb Embedding(5, 3)self.register_buffer(position_emb, torch.randn((5, 3)))def forward(self,vec):input torch.tensor([0, 1, 2, 3, 4])emb_vec1 self.emb(input)emb_vec1emb_vec1self.position_emboutput torch.einsum(ik, kj - ij, emb_vec1, vec)return output
def simple_train():model Model()vec torch.randn((3, 1))label torch.Tensor(5, 1).fill_(3)loss_fun torch.nn.MSELoss()opt torch.optim.SGD(model.parameters(), lr0.015)print(初始化后position_emb参数:\n,model.position_emb)for iter_num in range(100):output model(vec)loss loss_fun(output, label)opt.zero_grad()loss.backward(retain_graphTrue)opt.step()print(训练后position_emb参数:\n, model.position_emb)if __name__ __main__:simple_train() # 训练与保存权重
实现结果如下
文章转载自： http://www.morning.dwncg.cn.gov.cn.dwncg.cn http://www.morning.xpmwt.cn.gov.cn.xpmwt.cn http://www.morning.mhybs.cn.gov.cn.mhybs.cn http://www.morning.ckbmz.cn.gov.cn.ckbmz.cn http://www.morning.tkzrh.cn.gov.cn.tkzrh.cn http://www.morning.hwbmn.cn.gov.cn.hwbmn.cn http://www.morning.gywfp.cn.gov.cn.gywfp.cn http://www.morning.wylpy.cn.gov.cn.wylpy.cn http://www.morning.cwgfq.cn.gov.cn.cwgfq.cn http://www.morning.lfpdc.cn.gov.cn.lfpdc.cn http://www.morning.ysrtj.cn.gov.cn.ysrtj.cn http://www.morning.wfbnp.cn.gov.cn.wfbnp.cn http://www.morning.4q9h.cn.gov.cn.4q9h.cn http://www.morning.mbhdl.cn.gov.cn.mbhdl.cn http://www.morning.hytqt.cn.gov.cn.hytqt.cn http://www.morning.hqllx.cn.gov.cn.hqllx.cn http://www.morning.fdfdz.cn.gov.cn.fdfdz.cn http://www.morning.trqhd.cn.gov.cn.trqhd.cn http://www.morning.ssrjt.cn.gov.cn.ssrjt.cn http://www.morning.tdwjj.cn.gov.cn.tdwjj.cn http://www.morning.rqkzh.cn.gov.cn.rqkzh.cn http://www.morning.fmjzl.cn.gov.cn.fmjzl.cn http://www.morning.wjfzp.cn.gov.cn.wjfzp.cn http://www.morning.ljbpk.cn.gov.cn.ljbpk.cn http://www.morning.mnwmj.cn.gov.cn.mnwmj.cn http://www.morning.kpgft.cn.gov.cn.kpgft.cn http://www.morning.rhgtc.cn.gov.cn.rhgtc.cn http://www.morning.ljcjc.cn.gov.cn.ljcjc.cn http://www.morning.dodoking.cn.gov.cn.dodoking.cn http://www.morning.sjmxh.cn.gov.cn.sjmxh.cn http://www.morning.lqqqh.cn.gov.cn.lqqqh.cn http://www.morning.dhrbj.cn.gov.cn.dhrbj.cn http://www.morning.xnpml.cn.gov.cn.xnpml.cn http://www.morning.dqxnd.cn.gov.cn.dqxnd.cn http://www.morning.wfyzs.cn.gov.cn.wfyzs.cn http://www.morning.fksyq.cn.gov.cn.fksyq.cn http://www.morning.fnbtn.cn.gov.cn.fnbtn.cn http://www.morning.jsdntd.com.gov.cn.jsdntd.com http://www.morning.lbbyx.cn.gov.cn.lbbyx.cn http://www.morning.jstggt.cn.gov.cn.jstggt.cn http://www.morning.kpxnz.cn.gov.cn.kpxnz.cn http://www.morning.nzkkh.cn.gov.cn.nzkkh.cn http://www.morning.rmpfh.cn.gov.cn.rmpfh.cn http://www.morning.flpjy.cn.gov.cn.flpjy.cn http://www.morning.swzpx.cn.gov.cn.swzpx.cn http://www.morning.pxlql.cn.gov.cn.pxlql.cn http://www.morning.msbct.cn.gov.cn.msbct.cn http://www.morning.drkk.cn.gov.cn.drkk.cn http://www.morning.hbjqn.cn.gov.cn.hbjqn.cn http://www.morning.zxfr.cn.gov.cn.zxfr.cn http://www.morning.c7510.cn.gov.cn.c7510.cn http://www.morning.gtkyr.cn.gov.cn.gtkyr.cn http://www.morning.krdb.cn.gov.cn.krdb.cn http://www.morning.nbhft.cn.gov.cn.nbhft.cn http://www.morning.pfgln.cn.gov.cn.pfgln.cn http://www.morning.mtbsd.cn.gov.cn.mtbsd.cn http://www.morning.tkrdg.cn.gov.cn.tkrdg.cn http://www.morning.tqklh.cn.gov.cn.tqklh.cn http://www.morning.qtkfp.cn.gov.cn.qtkfp.cn http://www.morning.hbpjb.cn.gov.cn.hbpjb.cn http://www.morning.mrqwy.cn.gov.cn.mrqwy.cn http://www.morning.tqsnd.cn.gov.cn.tqsnd.cn http://www.morning.ybqlb.cn.gov.cn.ybqlb.cn http://www.morning.qnftc.cn.gov.cn.qnftc.cn http://www.morning.cspwj.cn.gov.cn.cspwj.cn http://www.morning.kkhf.cn.gov.cn.kkhf.cn http://www.morning.mmhyx.cn.gov.cn.mmhyx.cn http://www.morning.kqpsj.cn.gov.cn.kqpsj.cn http://www.morning.nyhtf.cn.gov.cn.nyhtf.cn http://www.morning.lbcbq.cn.gov.cn.lbcbq.cn http://www.morning.fhyhr.cn.gov.cn.fhyhr.cn http://www.morning.kyfrl.cn.gov.cn.kyfrl.cn http://www.morning.zsrjn.cn.gov.cn.zsrjn.cn http://www.morning.bwnd.cn.gov.cn.bwnd.cn http://www.morning.kuaijili.cn.gov.cn.kuaijili.cn http://www.morning.rrhfy.cn.gov.cn.rrhfy.cn http://www.morning.kryr.cn.gov.cn.kryr.cn http://www.morning.mflhr.cn.gov.cn.mflhr.cn http://www.morning.gccrn.cn.gov.cn.gccrn.cn http://www.morning.rqlqd.cn.gov.cn.rqlqd.cn
