当前位置: 首页 > news >正文

专业制作网站系统在线营销推广

专业制作网站系统,在线营销推广,黄浦上海网站建设,互联网 社区教育网站建设论文目录 神经网络-非线性激活 神经网络-线形层及其他层介绍 神经网络-非线性激活 官方文档地址:torch.nn — PyTorch 2.0 documentation 常用的:Sigmoid、ReLU、LeakyReLU等。 作用:为模型引入非线性特征,这样才能在训练过程中…

目录

神经网络-非线性激活

神经网络-线形层及其他层介绍 


神经网络-非线性激活

官方文档地址:torch.nn — PyTorch 2.0 documentation 

常用的:Sigmoid、ReLU、LeakyReLU等。

 

作用:为模型引入非线性特征,这样才能在训练过程中训练出符合更多特征的模型。

其中有个参数是inplace,默认为False,表示是否就地改变输入值,True则表示直接改变了input不再有另外的返回值;False则没有直接改变input并有返回值(建议是inplace=False)。

import torch
from torch import nninput = torch.tensor([[3, -1],[-0.5, 1]])
input = torch.reshape(input, (1, 1, 2, 2))relu = nn.ReLU()
input_relu = relu(input)print('input={}\ninput_relu:{}'.format(input, input_relu))# input=tensor([[[[ 3.0000, -1.0000],
#           [-0.5000,  1.0000]]]])
# input_relu:tensor([[[[3., 0.],
#           [0., 1.]]]])

神经网络-线形层及其他层介绍 

Linear Layers中的torch.nn.Linear(in_features, out_features, bias=True)。默认bias=True。对传入数据应用线性变换

Parameters

  • in_features – size of each input sample(每个输入样本的大小)
  • out_features – size of each output sample(每个输出样本的大小)
  • bias – If set to False, the layer will not learn an additive bias. Default: True(如果为False,则该层不会学习加法偏置,默认为true)

Shape:分别关注输入、输出的最后一个维度的大小,在训练过程中,nn.Linear往往是当作的展平为一维后最后几步的全连接层,所以此时就只关注了通道数,即往往Input和Outputs是一维的)

“展平为一维”经常用到torch.nn.Flatten(start_dim=1, end_dim=- 1)

想说一下start_dim,它表示“从start_dim开始把后面的维度都展平到同一维度上”,默认是是1,在实际训练中从start_dim=1开始展平,因为在训练中的tensor是4维的,分别是[batch_size, C, H, W],而第0维的batch_size不能动它,所以是从1开始的。

还比较重要的有:torch.nn.BatchNorm2d、torch.nn.Dropout、Loss Functions(之后再讲)。其它的Transformer Layers、Recurrent Layers都不是很常用。

import torch# 对4维tensor展平,start_dim=1input = torch.arange(54)
input = torch.reshape(input, (2, 3, 3, 3))y_0 = torch.flatten(input)
y_1 = torch.flatten(input, start_dim=1)print(input.shape)
print(y_0.shape)
print(y_1.shape)# torch.Size([2, 3, 3, 3])
# torch.Size([54])
# torch.Size([2, 27])

http://www.tj-hxxt.cn/news/9051.html

相关文章:

  • 企业网站制作排名国内能用的搜索引擎
  • 中国建设银行手机网站首页如何做一个自己的网站
  • 网站开发报价单.doc加强网络暴力治理
  • 哪家做网站便宜企业培训十大热门课程
  • 模板网站建设全过程百度上做优化
  • 申请域名后可以做自己的网站吗杨谦教授编的营销课程
  • 国外做地铁设计的公司网站seo推广招聘
  • 网络运维工作内容seo站外优化最主要的是什么
  • 网站建设礻首选金手指互联网
  • 做网站的企业广州可以直接进入的舆情网站
  • 网站外链隐形框架正能量网站地址链接免费
  • 乌鲁木齐网站制作公司百度推广管理平台登录
  • 安徽做网站找谁搜索引擎最新排名
  • 如何写代码做网站6每日新闻简报
  • 在网站上做远程教育系统多少钱网站运营推广
  • 太平洋手机报价大全北京网站优化快速排名
  • 做软装搭配的网站seo免费课程视频
  • 怎么做移动网站吗百度关键词
  • 免费网站建站+凡科建站自己的网站
  • 做付费软件网站怎么做今天最新的新闻头条新闻
  • 深圳网站建设公司乐云seoseo如何优化
  • 那个网站做粮油批发APPsns营销
  • 个人网站效果图咋做怎么自己做网址
  • 简单大气网站源码百度手机助手app下载
  • div css网站模板素材免费信息推广网站
  • 网页设计网站欣赏唯尚广告联盟平台
  • 微信手机网页版新手学seo
  • 淘宝联盟 网站怎么做广告公司是做什么的
  • 农业信息中心网站建设2023全民核酸又开始了
  • wordpress插件排名快速seo优化