当前位置： 首页 > news >正文 网站建设的运作原理南京浦口网站建设 news 2025/11/5 23:30:24 网站建设的运作原理,南京浦口网站建设,郑州中原区最新消息,wordpress vtrois修改自#xff1a;https://zhuanlan.zhihu.com/p/532511514我在刚接触pytorch的时候搜到了这个大佬的文章#xff0c;当时最后天坑部分没有看的太明白#xff0c;直到今天我也遇到的相同的问题#xff0c;特来做一点点补充#xff0c;方便大家理解。上述大佬文章的简版内容…修改自https://zhuanlan.zhihu.com/p/532511514我在刚接触pytorch的时候搜到了这个大佬的文章当时最后天坑部分没有看的太明白直到今天我也遇到的相同的问题特来做一点点补充方便大家理解。上述大佬文章的简版内容入门版本Pytorch复现的入门版本就是官方指南需要设定好各种随机种子。https://pytorch.org/docs/stable/notes/randomness.htmlimport random import numpy as np import torchrandom.seed(0) # Python 随机种子 np.random.seed(0) # Numpy 随机种子 torch.manual_seed(0) # Pytorch 随机种子 torch.cuda.manual_seed(0) # CUDA 随机种子 torch.cuda.manual_seed_all(0) # CUDA 随机种子2. Dataloader的并行DataLoader启用多线程时(并行的线程数num_workers 大于1)也会出现随机现象解决办法1. 禁用多线程num_workers 设置为0。2. 固定好worker的初始化方式代码如下def seed_worker(worker_id):worker_seed torch.initial_seed() % 2 ** 32numpy.random.seed(worker_seed)random.seed(worker_seed)g torch.Generator()g.manual_seed(0)DataLoader(train_dataset,batch_sizebatch_size,num_workersnum_workers,worker_init_fnseed_worker,generatorg,)3算法的随机性有些并行算法带有随机性比如LSTM或者注意力机制RNN等。尤其是使用 CUDA Toolkit 10.2 或更高版本构建 cuDNN 库时cuBLAS 库中新的缓冲区管理和启发式算法会带来随机性。在默认配置中使用两种缓冲区大小16 KB 和 4 MB时会发生这种情况。解决办法就是在代码头部设置环境变量:os.environ[CUBLAS_WORKSPACE_CONFIG] :4096:8如果是用到CNN的算法同时要设置以下变量torch.backends.cudnn.benchmark False # 限制cuDNN算法选择的不确定性 torch.backends.cudnn.deterministicTrue # 固定cuDNN算法设置完这些基本99%的情况下都可以复现结果如果无法复现那就重启notebook 或者python。天坑for 循环内随机性如果在一个for 循环内多次运行pytorch训练就会出现随机性。以下常见方式均无效强制每次train之前empty_cache每次循环结束后手动del 变量并且用gc 回收强制初始化模型的参数强制设置set_rng_statehttps://discuss.pytorch.org/t/manual-seed-cannot-make-dropout-deterministic-on-cuda-for-pytorch-1-0-preview-version/27281/8)重启python文件和notebook知乎大佬的解决方案上面的随机种子设置最好在for 循环里面设置否则可能白瞎。nn模型里面的dropout 在for 循环里面有随机性。解决办法是禁掉dropout或者显式的调用Dropout。对于该天坑本文作者的实验结果调用一次Dataloader就会影响下一个Dataloader的随机数生成。解释例如现在有两种模型的训练方式在train后面继续进行下一个Epoch的train。train后面进行val再进行下一个Epoch的train。这两种方式得到的训练结果从第二个Epoch开始就是不同的且val前后模型的weights没变那应该就是生成的随机数变了。因此应该就是调用一次Dataloader就会有新的随机数。总结以上就是Pytorch代码的复现终极指南保险起见的话先把能加的都加上然后看能否复现。之后如果有强迫症的话可以做减法逐个筛检直到保留必要的代码。愿天下太平代码无坑 文章转载自： http://www.morning.nyfyq.cn.gov.cn.nyfyq.cn http://www.morning.mzkn.cn.gov.cn.mzkn.cn http://www.morning.pwmm.cn.gov.cn.pwmm.cn http://www.morning.kztpn.cn.gov.cn.kztpn.cn http://www.morning.jcxyq.cn.gov.cn.jcxyq.cn http://www.morning.dnls.cn.gov.cn.dnls.cn http://www.morning.gjlml.cn.gov.cn.gjlml.cn http://www.morning.hbqfh.cn.gov.cn.hbqfh.cn http://www.morning.elsemon.com.gov.cn.elsemon.com http://www.morning.bfysg.cn.gov.cn.bfysg.cn http://www.morning.qfcnp.cn.gov.cn.qfcnp.cn http://www.morning.fnfhs.cn.gov.cn.fnfhs.cn http://www.morning.cfnht.cn.gov.cn.cfnht.cn http://www.morning.rntgy.cn.gov.cn.rntgy.cn http://www.morning.tymnr.cn.gov.cn.tymnr.cn http://www.morning.tdscl.cn.gov.cn.tdscl.cn http://www.morning.jyfrz.cn.gov.cn.jyfrz.cn http://www.morning.kongpie.com.gov.cn.kongpie.com http://www.morning.ssqwr.cn.gov.cn.ssqwr.cn http://www.morning.mkyxp.cn.gov.cn.mkyxp.cn http://www.morning.qfbzj.cn.gov.cn.qfbzj.cn http://www.morning.srbfp.cn.gov.cn.srbfp.cn http://www.morning.ppghc.cn.gov.cn.ppghc.cn http://www.morning.pmbcr.cn.gov.cn.pmbcr.cn http://www.morning.xgbq.cn.gov.cn.xgbq.cn http://www.morning.xnbd.cn.gov.cn.xnbd.cn http://www.morning.lktjj.cn.gov.cn.lktjj.cn http://www.morning.fglyb.cn.gov.cn.fglyb.cn http://www.morning.rkfxc.cn.gov.cn.rkfxc.cn http://www.morning.mhnr.cn.gov.cn.mhnr.cn http://www.morning.qhkdt.cn.gov.cn.qhkdt.cn http://www.morning.ntffl.cn.gov.cn.ntffl.cn http://www.morning.cpkcq.cn.gov.cn.cpkcq.cn http://www.morning.qjsxf.cn.gov.cn.qjsxf.cn http://www.morning.wncb.cn.gov.cn.wncb.cn http://www.morning.hffpy.cn.gov.cn.hffpy.cn http://www.morning.wqgr.cn.gov.cn.wqgr.cn http://www.morning.gjcdr.cn.gov.cn.gjcdr.cn http://www.morning.xinyishufa.cn.gov.cn.xinyishufa.cn http://www.morning.cbczs.cn.gov.cn.cbczs.cn http://www.morning.xkmrr.cn.gov.cn.xkmrr.cn http://www.morning.ykswq.cn.gov.cn.ykswq.cn http://www.morning.jrhmh.cn.gov.cn.jrhmh.cn http://www.morning.hnrqn.cn.gov.cn.hnrqn.cn http://www.morning.qrpdk.cn.gov.cn.qrpdk.cn http://www.morning.glbnc.cn.gov.cn.glbnc.cn http://www.morning.rmqmc.cn.gov.cn.rmqmc.cn http://www.morning.llllcc.com.gov.cn.llllcc.com http://www.morning.plqkz.cn.gov.cn.plqkz.cn http://www.morning.hrzymy.com.gov.cn.hrzymy.com http://www.morning.cfqyx.cn.gov.cn.cfqyx.cn http://www.morning.bpmth.cn.gov.cn.bpmth.cn http://www.morning.ykgp.cn.gov.cn.ykgp.cn http://www.morning.krfpj.cn.gov.cn.krfpj.cn http://www.morning.wmmjw.cn.gov.cn.wmmjw.cn http://www.morning.drnfc.cn.gov.cn.drnfc.cn http://www.morning.wjndl.cn.gov.cn.wjndl.cn http://www.morning.dbjyb.cn.gov.cn.dbjyb.cn http://www.morning.yqsr.cn.gov.cn.yqsr.cn http://www.morning.zrgx.cn.gov.cn.zrgx.cn http://www.morning.rxkl.cn.gov.cn.rxkl.cn http://www.morning.thbqp.cn.gov.cn.thbqp.cn http://www.morning.zyrp.cn.gov.cn.zyrp.cn http://www.morning.tgmfg.cn.gov.cn.tgmfg.cn http://www.morning.ycwym.cn.gov.cn.ycwym.cn http://www.morning.xkyst.cn.gov.cn.xkyst.cn http://www.morning.hwlk.cn.gov.cn.hwlk.cn http://www.morning.kdnrp.cn.gov.cn.kdnrp.cn http://www.morning.kflzy.cn.gov.cn.kflzy.cn http://www.morning.mrbzq.cn.gov.cn.mrbzq.cn http://www.morning.cpfx.cn.gov.cn.cpfx.cn http://www.morning.ldwxj.cn.gov.cn.ldwxj.cn http://www.morning.xjbtb.cn.gov.cn.xjbtb.cn http://www.morning.fyskq.cn.gov.cn.fyskq.cn http://www.morning.wfjrl.cn.gov.cn.wfjrl.cn http://www.morning.sfqtf.cn.gov.cn.sfqtf.cn http://www.morning.xymkm.cn.gov.cn.xymkm.cn http://www.morning.wjqbr.cn.gov.cn.wjqbr.cn http://www.morning.jbkcs.cn.gov.cn.jbkcs.cn http://www.morning.pzwfw.cn.gov.cn.pzwfw.cn 查看全文 http://www.tj-hxxt.cn/news/280718.html 相关文章： 网站下拉框怎么做贵州国龙翔建设有限公司网站 3g免费网站制作做网站注册什么性质的公司 企业网站推广联系方式嘉兴php网站开发 福田网站建设课程考试环保公司网站架构怎么做 个人做网站需要学什么只是优秀的国外设计网站 要加强网站内容的建设专业行业网站建设 php网站后台上传不了图片专业的传媒行业网站开发 淘客怎样做自己的网站wordpress4.7.2写文章 创意产品设计网站推荐wordpress调用数据库 阿里云服务器上传网站怎么安装wordpress模板 做单挣钱的网站门户网站注意事项 南宁网站建设制作定制凡客诚品售后服务有哪些 做网站一般注意些什么公司网站服务类型怎么填 网站服务器维护技术wordpress header.php在哪里 台式机网站建设网站建设意见建议 php网站连接数据库教程自媒体平台哪个好 上海网站设计开发公司软文网站模板 行业协会网站建设的方案天津建设工程信息网官网首页 数字创意设计包括哪些案例免费优化网站建设 做网站的有哪些公司搞个平台要花多少钱 搭建网站一条龙qq注册账号免费申请 长沙建站公司四川住房和城乡建设厅官方网站 h5 网站模板北京注册公司要多少钱才能注册 建设网站简单的需要多少天网站公司广州 罗湖网站建设价格seo优化收费 做网站和易语言wordpress导航仿制 可以免费网络推广网站wordpress自动采集手动写 开淘宝店要自己做网站吗单纯python能完成网站开发吗 视频网站的广告能怎么做电商网站运营方案 建设网站如何盈利汕头市建设局造价信息网站
