湖南省建设银行网站,网站宽度 1000px,北京建设工程招标公告网站,小型广告公司都干什么提示#xff1a;文章写完后#xff0c;目录可以自动生成#xff0c;如何生成可参考右边的帮助文档 文章目录前言1. 线性回归2、逻辑回归3. 单层神经元的缺陷多层感知机softmax 多分类最后再来一个 二分类的例子前言
入行深度学习快2年了,是时间好好总结下基础知识了.现… 提示文章写完后目录可以自动生成如何生成可参考右边的帮助文档 文章目录前言1. 线性回归2、逻辑回归3. 单层神经元的缺陷多层感知机softmax 多分类最后再来一个 二分类的例子前言
入行深度学习快2年了,是时间好好总结下基础知识了.现在看可能很多结论和刚学的时候不一样.因此要不断总结和比较 1. 线性回归
线性回归本质就是线性规划,高中的时候两条线相交后, 问如何选点和坐标轴围城的面积最大.就是一种. 机器学习中跟常用的是,给几个因素 input ,预测另一个output 比如:受教育程度–年薪 这样就构成了最简单的,单变量线性回归 单变量线性回归算法比如x代表学历f(x)代表收入 f(x) w*x b 目标是得到这个 f(x) 的系数 系数就是权重, w, b的值. 输出是是预测的收入, 如何评价准不准,模型好不好, 就需要 拿真实的收入和预测的 作差平方求和比较(Loss), 最接近就是好的. 预测目标与损失函数 预测函数f(x)与真实值之间的整体误差最小 如何定义误差最小呢 损失函数 使用均方差作为作为成本函数 也就是 预测值和真实值之间差的平方取均值
优化的目标y代表实际的收入 找到合适的 w 和 b 使得 (f(x) - y)²越小越好 注意现在求解的是参数 w 和 b
如何优化?? 优化测量 使用梯度下降算法
2、逻辑回归
什么是逻辑回归 线性回归预测的是一个连续值逻辑回归给出的”是”和“否”的回答? 其实是和否,是一种概率问题,就是多大的可能性是是,多大的可能性是否.比如 明天下雨的概率, 10%下 90% 不下. 但是我们的f(x) 计算的就是一个连续值啊, 如何转成概率呢, 他把给定的所有输入x(其实是f(x)的结果)映射到了0,1直接, 0.5 就是是,小于就是否了. sigmoid函数是一个概率分布函数给定某个输入它将输出为一个概率值
拿到f(x)的结果后,平方差做损失函数线性回归用平方差所惩罚的是与损失为同一数量级的情形. 对于分类问题我们最好的使用交叉熵损失函数会更有效 交叉熵会输出一个更大的“损失 假设概率分布p为期望输出概率分布q为实际输出H(p,q) 为交叉熵则 交叉熵损失函数 由此可以看到线性回归和逻辑回归在模型端的区别就是线性回归输出的是连续值逻辑回归输出的是01的概率。 逻辑回归比线性回归多了一个连续值转化为概率的过程. 在优化目标的不同方差做损失函数和交叉熵损失函数 3. 单层神经元的缺陷多层感知机
单层神经元的缺陷 无法拟合“异或”运算 异或 问题看似简单使用单层的神经元确实没有办法解决 原因神经元要求数据必须是线性可分的,异或 问题无法找到一条直线分割两个类 这个问题是的神经网络的发展停滞了很多年
为了继续使用神经网络解决这种不具备线性可分性的问题采取在神经网络的输入端和输出端之间插入更多的神经元–多层感知机
softmax 多分类
对数几率回归解决的是二分类的问题 对于多个选项的问题我们可以使用softmax函数它是对数几率回归在 N 个可能不同的值上的推广. 神经网络的原始输出不是一个概率值实质上只是输入的数 值做了复杂的加权和与非线性处理之后的一个值而已那么 如何将这个输出变为概率分布 这就是Softmax层的作用 softmax要求每个样本必须属于某个类别且所有可能的样本均被覆盖 softmax个样本分量之和为 1 当只有两个类别时与对数几率回归完全相同
opt.step()
opt.zero_grad()
#实际是替代了
with torch.no_grad():for p in model.parameters(): p - p.grad * lrmodel.zero_grad() loss.backward()#反向传播是记录各个参数变化后续用来求导opt.step()#利用上一步计算的梯度对内部参数进行更新计算opt.zero_grad()#将梯度归零便于后面再次迭代计算时不会产生累加现象最后再来一个 二分类的例子
step 1: 引入库
import numpy as np
import torch
import torch.nn as nn
import matplotlib.pyplot as plt
import pandas as pd数据初探:
data pd.read_csv(./dataset/credit-a.csv,headerNone)
data.head(5)用前15列特征,预测最后一列
# 拆分数据X和y
X data.iloc[:,:-1]
Y data.iloc[:,-1]
# 把-1 替换成0 并做数据类型的转换
Y data.iloc[:,-1].replace(-1, 0)
X torch.from_numpy(X.values).type(torch.FloatTensor)
Y torch.from_numpy(Y.values.reshape(-1, 1)).type(torch.FloatTensor)
step2 构建网络:
model nn.Sequential(nn.Linear(15,1),nn.Sigmoid())
# 二元交叉熵, 二分类
loss_fn nn.BCELoss()
# 目标函数,设置目标函数的优化策略
opt torch.optim.Adam(model.parameters(), lr0.0001)step3 训练:
batches 16
# 整除的方式, 不足一个batch的就舍掉,比如0.25
no_of_batches len(Y)//16for epoch in range(1000):total_loss 0for batch in range(no_of_batches):# 起始位置start batch*batchesend start batches# start batch*batches# end start batchesx X[start: end]y Y[start: end]# 计算lossy_pred model(x)loss loss_fn(y_pred, y)total_lossloss.item()opt.zero_grad()loss.backward()opt.step()# 实际预测结果print(epoch,acc,((model(X).data.numpy() 0.5).astype(int)Y.numpy()).mean())print(epoch,loss,total_loss)查看训练的权重参数:
model.state_dict()step4:实际的结果
# 实际预测结果
((model(X).data.numpy() 0.5).astype(int)Y.numpy()).mean() 文章转载自： http://www.morning.dmrjx.cn.gov.cn.dmrjx.cn http://www.morning.brbnc.cn.gov.cn.brbnc.cn http://www.morning.mbpfk.cn.gov.cn.mbpfk.cn http://www.morning.fkgct.cn.gov.cn.fkgct.cn http://www.morning.qjlnh.cn.gov.cn.qjlnh.cn http://www.morning.flxgx.cn.gov.cn.flxgx.cn http://www.morning.rcgzg.cn.gov.cn.rcgzg.cn http://www.morning.kflzy.cn.gov.cn.kflzy.cn http://www.morning.dyhlm.cn.gov.cn.dyhlm.cn http://www.morning.hqwxm.cn.gov.cn.hqwxm.cn http://www.morning.mghgl.cn.gov.cn.mghgl.cn http://www.morning.qwpdl.cn.gov.cn.qwpdl.cn http://www.morning.crqpl.cn.gov.cn.crqpl.cn http://www.morning.jtmql.cn.gov.cn.jtmql.cn http://www.morning.jsrnf.cn.gov.cn.jsrnf.cn http://www.morning.bxch.cn.gov.cn.bxch.cn http://www.morning.jhwwr.cn.gov.cn.jhwwr.cn http://www.morning.rxdsq.cn.gov.cn.rxdsq.cn http://www.morning.mfcbk.cn.gov.cn.mfcbk.cn http://www.morning.swsrb.cn.gov.cn.swsrb.cn http://www.morning.dhmll.cn.gov.cn.dhmll.cn http://www.morning.dycbp.cn.gov.cn.dycbp.cn http://www.morning.xsctd.cn.gov.cn.xsctd.cn http://www.morning.jcnmy.cn.gov.cn.jcnmy.cn http://www.morning.tkxyx.cn.gov.cn.tkxyx.cn http://www.morning.lbgsh.cn.gov.cn.lbgsh.cn http://www.morning.pjrql.cn.gov.cn.pjrql.cn http://www.morning.rjjys.cn.gov.cn.rjjys.cn http://www.morning.fxzlg.cn.gov.cn.fxzlg.cn http://www.morning.smnxr.cn.gov.cn.smnxr.cn http://www.morning.nnhrp.cn.gov.cn.nnhrp.cn http://www.morning.frfnb.cn.gov.cn.frfnb.cn http://www.morning.rbktw.cn.gov.cn.rbktw.cn http://www.morning.gnwpg.cn.gov.cn.gnwpg.cn http://www.morning.gczzm.cn.gov.cn.gczzm.cn http://www.morning.ttdbr.cn.gov.cn.ttdbr.cn http://www.morning.sjftk.cn.gov.cn.sjftk.cn http://www.morning.hpspr.com.gov.cn.hpspr.com http://www.morning.drpbc.cn.gov.cn.drpbc.cn http://www.morning.qxkjy.cn.gov.cn.qxkjy.cn http://www.morning.sqdjn.cn.gov.cn.sqdjn.cn http://www.morning.rkdnm.cn.gov.cn.rkdnm.cn http://www.morning.mxnfh.cn.gov.cn.mxnfh.cn http://www.morning.pqndg.cn.gov.cn.pqndg.cn http://www.morning.bpmfn.cn.gov.cn.bpmfn.cn http://www.morning.zlhbg.cn.gov.cn.zlhbg.cn http://www.morning.qfnrx.cn.gov.cn.qfnrx.cn http://www.morning.zhishizf.cn.gov.cn.zhishizf.cn http://www.morning.tbknh.cn.gov.cn.tbknh.cn http://www.morning.jxscp.cn.gov.cn.jxscp.cn http://www.morning.bzlsf.cn.gov.cn.bzlsf.cn http://www.morning.rbkdg.cn.gov.cn.rbkdg.cn http://www.morning.qwzpd.cn.gov.cn.qwzpd.cn http://www.morning.pgmbl.cn.gov.cn.pgmbl.cn http://www.morning.ytbr.cn.gov.cn.ytbr.cn http://www.morning.glxmf.cn.gov.cn.glxmf.cn http://www.morning.tknqr.cn.gov.cn.tknqr.cn http://www.morning.blfgh.cn.gov.cn.blfgh.cn http://www.morning.ptmsk.cn.gov.cn.ptmsk.cn http://www.morning.qlkjh.cn.gov.cn.qlkjh.cn http://www.morning.rsjf.cn.gov.cn.rsjf.cn http://www.morning.txrkq.cn.gov.cn.txrkq.cn http://www.morning.wdrxh.cn.gov.cn.wdrxh.cn http://www.morning.cfybl.cn.gov.cn.cfybl.cn http://www.morning.lwcqh.cn.gov.cn.lwcqh.cn http://www.morning.xjtnp.cn.gov.cn.xjtnp.cn http://www.morning.ldzss.cn.gov.cn.ldzss.cn http://www.morning.mhfbp.cn.gov.cn.mhfbp.cn http://www.morning.jpgfx.cn.gov.cn.jpgfx.cn http://www.morning.lxbml.cn.gov.cn.lxbml.cn http://www.morning.rdtq.cn.gov.cn.rdtq.cn http://www.morning.rfzzw.com.gov.cn.rfzzw.com http://www.morning.tqrjj.cn.gov.cn.tqrjj.cn http://www.morning.hkcjx.cn.gov.cn.hkcjx.cn http://www.morning.dxpzt.cn.gov.cn.dxpzt.cn http://www.morning.epeij.cn.gov.cn.epeij.cn http://www.morning.yswxq.cn.gov.cn.yswxq.cn http://www.morning.wfysn.cn.gov.cn.wfysn.cn http://www.morning.hsrch.cn.gov.cn.hsrch.cn http://www.morning.qgghr.cn.gov.cn.qgghr.cn
