当前位置: 首页 > news >正文

网站建设哪个部门管理/搜索关键词查询

网站建设哪个部门管理,搜索关键词查询,河南国正建设集团公司网站,最新网站模板免费下载修改自:https://zhuanlan.zhihu.com/p/532511514我在刚接触pytorch的时候搜到了这个大佬的文章,当时最后天坑部分没有看的太明白,直到今天我也遇到的相同的问题,特来做一点点补充,方便大家理解。上述大佬文章的简版内容…

修改自:https://zhuanlan.zhihu.com/p/532511514

我在刚接触pytorch的时候搜到了这个大佬的文章,当时最后天坑部分没有看的太明白,直到今天我也遇到的相同的问题,特来做一点点补充,方便大家理解。

上述大佬文章的简版内容:

  1. 入门版本

Pytorch复现的入门版本就是官方指南,需要设定好各种随机种子。

https://pytorch.org/docs/stable/notes/randomness.html

import random
import numpy as np
import torchrandom.seed(0)  # Python 随机种子
np.random.seed(0)  # Numpy 随机种子
torch.manual_seed(0)  # Pytorch 随机种子
torch.cuda.manual_seed(0)  # CUDA 随机种子
torch.cuda.manual_seed_all(0)  # CUDA 随机种子

2. Dataloader的并行

DataLoader启用多线程时(并行的线程数num_workers 大于1)也会出现随机现象,解决办法:

1. 禁用多线程:num_workers 设置为0。

2. 固定好worker的初始化方式,代码如下:

def seed_worker(worker_id):worker_seed = torch.initial_seed() % 2 ** 32numpy.random.seed(worker_seed)random.seed(worker_seed)g = torch.Generator()g.manual_seed(0)DataLoader(train_dataset,batch_size=batch_size,num_workers=num_workers,worker_init_fn=seed_worker,generator=g,)

3:算法的随机性

有些并行算法带有随机性,比如LSTM或者注意力机制,RNN等。

尤其是使用 CUDA Toolkit 10.2 或更高版本构建 cuDNN 库时,cuBLAS 库中新的缓冲区管理和启发式算法会带来随机性。在默认配置中使用两种缓冲区大小(16 KB 和 4 MB)时会发生这种情况。

解决办法就是在代码头部设置环境变量:

os.environ['CUBLAS_WORKSPACE_CONFIG'] = ':4096:8'

如果是用到CNN的算法,同时要设置以下变量:

torch.backends.cudnn.benchmark = False  # 限制cuDNN算法选择的不确定性
torch.backends.cudnn.deterministic=True  # 固定cuDNN算法

设置完这些,基本99%的情况下都可以复现结果,如果无法复现,那就重启notebook 或者python。

天坑:for 循环内随机性

如果在一个for 循环内多次运行pytorch训练,就会出现随机性。

以下常见方式均无效

  • 强制每次train之前empty_cache;

  • 每次循环结束后,手动del 变量,并且用gc 回收;

  • 强制初始化模型的参数;

  • 强制设置set_rng_state;(https://discuss.pytorch.org/t/manual-seed-cannot-make-dropout-deterministic-on-cuda-for-pytorch-1-0-preview-version/27281/8)

  • 重启python文件和notebook;

知乎大佬的解决方案:

  1. 上面的随机种子设置最好在for 循环里面设置,否则可能白瞎。

  1. nn模型里面的dropout 在for 循环里面有随机性。解决办法是禁掉dropout或者显式的调用Dropout。

对于该天坑,本文作者的实验结果:

调用一次Dataloader就会影响下一个Dataloader的随机数生成。

解释:例如现在有两种模型的训练方式:

  1. 在train后面继续进行下一个Epoch的train。

  1. train后面进行val,再进行下一个Epoch的train。

这两种方式得到的训练结果从第二个Epoch开始就是不同的,且val前后模型的weights没变,那应该就是生成的随机数变了。因此,应该就是调用一次Dataloader就会有新的随机数。

总结

以上就是Pytorch代码的复现终极指南,保险起见的话,先把能加的都加上,然后看能否复现。

之后如果有强迫症的话,可以做减法,逐个筛检,直到保留必要的代码。

愿天下太平,代码无坑

http://www.jmfq.cn/news/5275909.html

相关文章:

  • 东莞建筑公司排行榜/seo软件安卓版
  • 网站建设补充/做seo前景怎么样
  • 网站建设销售问你告诉我怎么制作/友情链接网
  • 娱乐建网站/推广普通话的意义简短
  • 图书管理系统网站开发设计过程/关键词推广和定向推广
  • 建设网站公司兴田德润在哪里/国外网站加速
  • 最新章节 第四百六十二章 花两亿做的网站/北京疫情发布不再公布各区数据
  • 做网站应该了解什么问题/旺道seo软件技术
  • 宁波做网站软件/国际新闻今日头条
  • 焦作会计做继续教育在哪个网站/seo模拟点击工具
  • 企业年金个人和单位的缴费比例/seo查询网站
  • 河北远策网站建设/怎么开一个网站平台
  • 网页设计与网站建设选择题/网络推广十大平台
  • 网站开发用php还是js/google推广seo
  • 卫生局网站模板/企业宣传软文范例
  • 网站跳出率如何计算/中国seo第一人
  • 鞍山做网站企业/seo零基础教学视频
  • wordpress附件/东莞seo计费
  • 设计网站公司 露 联湖南岚鸿/软件开发公司排名
  • 自己动手做导航网站/软文媒体发稿平台
  • asp无刷新网站模板/今日新闻最新
  • 广州 科技网站建设公司/文章推广平台
  • 泰安口碑好的企业建站公司/成都官网seo服务
  • 如何做公司简介介绍/石家庄百度seo
  • 做网站还有价值吗/龙岗网络公司
  • 新乡做网站的/优化seo深圳
  • 做平面常用的网站/互联网推广渠道有哪些
  • 公司网站建设浩森宇特/云南seo公司
  • 网站建设课设心得体会/国家优化防控措施
  • 高端网站建设模板/百度竞价是什么