h5制作网站公司,李沧网站建设公司,付费网站怎么制作,平顶山网站制作哪家公司好本次学习为周老师的机器学习西瓜书谢老师南瓜书Datawhale视频 视频地址
下面为本人的学习笔记#xff0c;最近很忙还没学多少#xff0c;之后补#xff01;#xff01;#xff01; u1s1#xff0c;边看视频边自己手推一遍真的清楚很多#xff0c;强烈推荐自己手推虽然花…本次学习为周老师的机器学习西瓜书谢老师南瓜书Datawhale视频 视频地址
下面为本人的学习笔记最近很忙还没学多少之后补 u1s1边看视频边自己手推一遍真的清楚很多强烈推荐自己手推虽然花时间但真的很有用很清晰 线性模型 1、基本形式2、最小二乘估计极大似然估计3、求解w和b4、举例 机器学习是想要通过现有的数据找到隐藏在事物背后的规律。 而大部分规律是符合线性模型的形式 为了能进行数学运算样本中的非数值类属性都需要进行数值化。 机器学习三要素 1.模型根据具体问题确定假设空间 2.策略根据评价标准确定选取最优模型的策略通常会产出一个“损失函数” 3.算法求解损失函数确定最优模型 1、基本形式
给定由d个属性描述的示例 其中xi是x在第i个属性上的取值线性模型试图学的一个通过属性的线性组合来进行预测的函数即 一般用向量形式写成 其中w (w1;w2;…;wd),模型就得以确定。
2、最小二乘估计极大似然估计 极大似然估计的直观想法使得观测样本出现概率最大的分布就是待求分布也就是使得联合概率似然函数L( θ \theta θ )取得最大值的 θ \theta θ 即为 θ \theta θ 的估计值。
3、求解w和b
凸集介绍向下凹的函数叫凸函数相当于数学里面最优化的思路 梯度多元函数的一阶导数 列向量为分母布局行向量为分子布局。求梯度即为求偏导数。 Hessian海塞矩阵多元函数的二阶导数 其本质上是一个多元函数求最值点的问题更具体点是凸函数求最值的问题 推导思路 1、证明 E ( w , b ) ∑ i 1 m ( y i − w x i − b ) 2 E\left( w,b\right) \sum ^{m}_{i1}\left( y_{i}-wx_{i}-b\right) ^{2} E(w,b)∑i1m(yi−wxi−b)2是关于w和b的凸函数。 2、用凸函数求最值的思路求解出w和b。
半正定矩阵的判定定理之一 若实对称矩阵的所有顺序主子式均为非负则该矩阵为半正定矩阵。 好的到这里我们已经完成了第一步证明接下来我们要完成第二步证明即用凸函数求最值的思路求解出w和b。 这边手写忘拍照啦就写一下思路吧~ 首先令对b的一阶导等于0可以求出b为了后续求解方便首先将b化简再对令的一阶导等于0然后把b代进去算… 从几何的角度让全体训练样本经过投影后
异类样本的中心尽可能远同类样本的方差尽可能小 对数几率回归算法的机器学习三要素 1.模型线性模型 输出值的范围为,近似阶跃的单调可微函数 2.策略 极大似然估计信息论 3.算法 梯度下降牛顿法 它实际是让ewTxb逼近y虽然形式上是线性回归但是实际是求取输入空间到输出空间的非线性函数映射。这里的对数函数起到了将线性回归模型的预测值与真实标记相联系的作用。 若将y视为x为正例的可能性1-y为其为反例的可能性两者的比值为x为正例的相对可能性。对于几率取对数得到的就是“对数几率”。对数几率回归也叫逻辑回归。 线性判别分析Linear Discriminant Analysis简称LDA,其基本思想是将训练样本投影到一条直线上使得同类的样例尽可能近不同类的样例尽可能远。如图所示 现实中我们经常遇到不只两个类别的分类问题即多分类问题在这种情形下我们常常运用“拆分”的策略通过多个二分类学习器来解决多分类问题即将多分类问题拆解为多个二分类问题训练出多个二分类学习器最后将多个分类结果进行集成得出结论。最为经典的拆分策略有三种“一对一”OvO、“一对其余”OvR和“多对多”MvM核心思想与示意图如下所示。 基于一些基本策略利用二分类学习器来解决多分类问题 ·“一对一”One vs.One简称OvO ·“一对其余”One vs.Rest简称OvR ·“多对多”Many vs.Many简称MvM OvO给定数据集D假定其中有N个真实类别将这N个类别进行两两配对一个正类/一个反类从而产生NN-1/2个二分类学习器在测试阶段将新样本放入所有的二分类学习器中测试得出NN-1个结果最终通过投票产生最终的分类结果。
OvM给定数据集D假定其中有N个真实类别每次取出一个类作为正类剩余的所有类别作为一个新的反类从而产生N个二分类学习器在测试阶段得出N个结果若仅有一个学习器预测为正类则对应的类标作为最终分类结果。
MvM给定数据集D假定其中有N个真实类别每次取若干个类作为正类若干个类作为反类通过ECOC码给出编码若进行了M次划分则生成了M个二分类学习器在测试阶段解码得出M个结果组成一个新的码最终通过计算海明/欧式距离选择距离最小的类别作为最终分类结果。 类别不平衡class-imbanlance就是指分类问题中不同类别的训练样本相差悬殊的情况例如正例有900个而反例只有100个这个时候我们就需要进行相应的处理来平衡这个问题。常见的做法有三种
在训练样本较多的类别中进行“欠采样”undersampling,比如从正例中采出100个常见的算法有EasyEnsemble。在训练样本较少的类别中进行“过采样”oversampling,例如通过对反例中的数据进行插值来产生额外的反例常见的算法有SMOTE。直接基于原数据集进行学习对预测值进行“再缩放”处理。其中再缩放也是代价敏感学习的基础。 欠采样去除一些反例使得正、反例数目接近 ·过采样增加一些正例使得正、反例数目接近 ·阈值移动直接基于原始数据集进行学习但是预测时改变预测为正例的阈值不再为0.5
4、举例
1、sklearn中的线性回归 sklearn中的线性回归模型如下
from sklearn.linear_model import LinearRegression
sklearn.learn_model.LinearRegression()它表示最小二乘线性回归线性回归拟合具有系数w (w1,…,wp)的线性模型以最小化数据集中观察到的目标与通过线性近似预测的目标之间的残差平方和它的完整参数如下
sklearn.linear_model.LinearRegression(fit_interceptTrue,normalizeFalse,copy_XTrue)参数解释 fit_intercept,是否计算此模型的截距默认True如果设置为False则不会在计算中使用截距 normalize数据标准化默认为False官方给的建议是用StandardScaler copy_X:如果为True则X将被复制否则它可能会被覆盖、默认为True。 参数解释 fit(X,y[,sanmple_weight]):拟合线性模型也可以叫做训练线性模型 predict(X):使用线性模型进行预测。 score(X,y[,sample_weight]):返回预测的确定系数即R^2. 2、案例实现价格预测 假设有例子x和y分别表示某面积和总价需要根据面积来预测总价。 第一步导入模块
import numpy as np
from sklearn.linear_model import LinearRegression
import matplotlib.pyplot as plt第二步:导入数据并绘制散点图
#创建数据
x np.array([6,16,26,36,46,56]).reshape((-1,1))
y np.array([4,23,10,12,22,35])plt.scatter(x,y)#绘制散点图
plt.show()第三步创建模型并拟合
model LinearRegression().fit(x,y)第四步评估模型
r_sq model.score(x,y)
print(确定系数:,r_sq)确定系数: 0.5417910447761195 第五步获取线性回归模型中的参数
#打印截距
print(截距,model.intercept_)#打印斜率
print(斜率,model.coef_)#预测一个响应并打印它
y_pred model.predict(x)
print(预测结果,y_pred,sep\n)截距 4.026666666666664 斜率 [0.44] 预测结果 [ 6.66666667 11.06666667 15.46666667 19.86666667 24.26666667 28.66666667] 3、销售预测 数据集如下 分别表示
TV电视台Radio广播Newspaper: 报纸sales: 销售价格 第一步读取数据并展示数据
import pandas as pd
datapd.read_csv(rD:\advertising.csv)
data如图 回归方程别忘了y cm1x1m2x2…mn*xn
y是预测值是因变量c是截距m1是第一个特征m2是第二个特征m3是第三个特征mn是第n个特征 在这里我们只做电视和销售的关系因此方程为y cm1xTV 第二步提取自变量和因变量
X data[TV].values.reshape(-1,1)#使其成为数组
y data[Sales].values第三步分隔训练集和测试集。将70%的数据保留在训练数据集中其余30%保留在测试数据集中。
from sklearn.model_selection import train_test_split
X_train,X_test,y_train,y_test train_test_split(X,y,train_size0.7,test_size0.3,random_state100)第四步数据可视化
plt.scatter(X_train,y_train,colorpurple)
plt.xlabel(x )
plt.ylabel(y )
plt.title(Scatter Plot)
plt.show()如图 第五步建立线性回归模型
from sklearn.linear_model import LinearRegression
lr LinearRegression()第六步训练模型并使用选项回归模型预测
lr.fit(X_train,y_train)
y_predict lr.predict(X_test)第七步评估模型 使用训练精确度和测试精确度。可以根据这两个指标判断是否过拟合还是欠拟合训练精度大于测试精度则过拟合如果两者都很小就是欠拟合。
print(fTraining accuracy:{round(lr.score(X_train,y_train)*100,2)}%)
print(fTesting accuracy:{round(lr.score(X_test,y_test)*100,2)}%)输出
Training accuracy:81.58%
Testing accuracy:79.21%4、线性回归优缺点 优点
建模速度快不需要很复杂的计算在数据量大的情况下依然运行速度很快。可以根据系数给出每个变量的理解和解释。 缺点: 不能很好地拟合非线性数据所以需要先判断变量之间是否为线性关系。 南瓜书地址 文章转载自： http://www.morning.jybj.cn.gov.cn.jybj.cn http://www.morning.qdcpn.cn.gov.cn.qdcpn.cn http://www.morning.rlsd.cn.gov.cn.rlsd.cn http://www.morning.blxlf.cn.gov.cn.blxlf.cn http://www.morning.bklhx.cn.gov.cn.bklhx.cn http://www.morning.hnzrl.cn.gov.cn.hnzrl.cn http://www.morning.dmfdl.cn.gov.cn.dmfdl.cn http://www.morning.yprjy.cn.gov.cn.yprjy.cn http://www.morning.rzdzb.cn.gov.cn.rzdzb.cn http://www.morning.nmhpq.cn.gov.cn.nmhpq.cn http://www.morning.wpjst.cn.gov.cn.wpjst.cn http://www.morning.xgzwj.cn.gov.cn.xgzwj.cn http://www.morning.nsppc.cn.gov.cn.nsppc.cn http://www.morning.yfddl.cn.gov.cn.yfddl.cn http://www.morning.kmcby.cn.gov.cn.kmcby.cn http://www.morning.zwndt.cn.gov.cn.zwndt.cn http://www.morning.lfpzs.cn.gov.cn.lfpzs.cn http://www.morning.fhbhr.cn.gov.cn.fhbhr.cn http://www.morning.jfnlj.cn.gov.cn.jfnlj.cn http://www.morning.tzcr.cn.gov.cn.tzcr.cn http://www.morning.nhzps.cn.gov.cn.nhzps.cn http://www.morning.hcqd.cn.gov.cn.hcqd.cn http://www.morning.srcth.cn.gov.cn.srcth.cn http://www.morning.bfysg.cn.gov.cn.bfysg.cn http://www.morning.dygsz.cn.gov.cn.dygsz.cn http://www.morning.ycmpk.cn.gov.cn.ycmpk.cn http://www.morning.lxfdh.cn.gov.cn.lxfdh.cn http://www.morning.khyqt.cn.gov.cn.khyqt.cn http://www.morning.sryhp.cn.gov.cn.sryhp.cn http://www.morning.cdygl.com.gov.cn.cdygl.com http://www.morning.ksqzd.cn.gov.cn.ksqzd.cn http://www.morning.dschz.cn.gov.cn.dschz.cn http://www.morning.ghqyr.cn.gov.cn.ghqyr.cn http://www.morning.rzmlc.cn.gov.cn.rzmlc.cn http://www.morning.krdb.cn.gov.cn.krdb.cn http://www.morning.bdkhl.cn.gov.cn.bdkhl.cn http://www.morning.hphrz.cn.gov.cn.hphrz.cn http://www.morning.qqtzn.cn.gov.cn.qqtzn.cn http://www.morning.qzqfq.cn.gov.cn.qzqfq.cn http://www.morning.jxjrm.cn.gov.cn.jxjrm.cn http://www.morning.rpms.cn.gov.cn.rpms.cn http://www.morning.tscsd.cn.gov.cn.tscsd.cn http://www.morning.bangaw.cn.gov.cn.bangaw.cn http://www.morning.frpb.cn.gov.cn.frpb.cn http://www.morning.jcnmy.cn.gov.cn.jcnmy.cn http://www.morning.gqnll.cn.gov.cn.gqnll.cn http://www.morning.fqpgf.cn.gov.cn.fqpgf.cn http://www.morning.bdzps.cn.gov.cn.bdzps.cn http://www.morning.sbpt.cn.gov.cn.sbpt.cn http://www.morning.mflhr.cn.gov.cn.mflhr.cn http://www.morning.hkpn.cn.gov.cn.hkpn.cn http://www.morning.sjsks.cn.gov.cn.sjsks.cn http://www.morning.juju8.cn.gov.cn.juju8.cn http://www.morning.zypnt.cn.gov.cn.zypnt.cn http://www.morning.xhklb.cn.gov.cn.xhklb.cn http://www.morning.fwgnq.cn.gov.cn.fwgnq.cn http://www.morning.ybgyz.cn.gov.cn.ybgyz.cn http://www.morning.gbybx.cn.gov.cn.gbybx.cn http://www.morning.qrsm.cn.gov.cn.qrsm.cn http://www.morning.rhmt.cn.gov.cn.rhmt.cn http://www.morning.mtrfz.cn.gov.cn.mtrfz.cn http://www.morning.lylkh.cn.gov.cn.lylkh.cn http://www.morning.ychrn.cn.gov.cn.ychrn.cn http://www.morning.nzsdr.cn.gov.cn.nzsdr.cn http://www.morning.tzpqc.cn.gov.cn.tzpqc.cn http://www.morning.mlffg.cn.gov.cn.mlffg.cn http://www.morning.fkmqg.cn.gov.cn.fkmqg.cn http://www.morning.jypqx.cn.gov.cn.jypqx.cn http://www.morning.mxgpp.cn.gov.cn.mxgpp.cn http://www.morning.ljzgf.cn.gov.cn.ljzgf.cn http://www.morning.qmsbr.cn.gov.cn.qmsbr.cn http://www.morning.fbdtd.cn.gov.cn.fbdtd.cn http://www.morning.tcylt.cn.gov.cn.tcylt.cn http://www.morning.tktyh.cn.gov.cn.tktyh.cn http://www.morning.krdmn.cn.gov.cn.krdmn.cn http://www.morning.slwfy.cn.gov.cn.slwfy.cn http://www.morning.rysmn.cn.gov.cn.rysmn.cn http://www.morning.mgtmm.cn.gov.cn.mgtmm.cn http://www.morning.yqhdy.cn.gov.cn.yqhdy.cn http://www.morning.zcmpk.cn.gov.cn.zcmpk.cn
