网页下载网站,工程竣工信息哪里可以查询,Wordpress要建数据库吗,网络营销推广的核心是哪三种方式文章目录 是什么的问题案例说明 是什么的问题
回归分析#xff08;Regression Analysis#xff09; 是研究自变量与因变量之间数量变化关系的一种分析方法#xff0c;它主要是通过因变量Y与影响它的自变量 X i #xff08; i 1 , 2 , 3 … #xff09; X_i#xff08;i1… 文章目录 是什么的问题案例说明 是什么的问题
回归分析Regression Analysis 是研究自变量与因变量之间数量变化关系的一种分析方法它主要是通过因变量Y与影响它的自变量 X i i 1 , 2 , 3 … X_ii1,2,3… Xii1,2,3…之间的回归模型衡量自变量 X i X_i Xi对因变量Y的影响能力的进而可以用来预测因变量Y的发展趋势。 损失函数Cost Function/Lost Function 用于估计模型的预测值和真实值之间的不一致程度损失函数越小代表模型预测结果与真实值越相近。
定义线性回归的损失函数可采用最小二乘法通过最小化误差的平方和寻找数据的最佳函数匹配。 单个样本example的误差函数 总体n的误差函数 线性回归模型的函数 y ^ w 1 x 1 w 2 x 2 . . . w d x d b W T X b \hat{y}w_1x_1w_2x_2...w_dx_dbW^TXb y^w1x1w2x2...wdxdbWTXb
在训练模型时我们希望寻找⼀组参数w∗, b∗这组参数能最⼩化在所有训练样本上的总损失。
如何找到最优的wb来优化我们的模型
用数学的方法就是把wb看成未知变量分别对其求偏导。 L ( w , b ) ∑ i 1 n ( W T X b i − y i ) 2 L(w,b)\sum_{i1}^{n} (W^TXbi-y_i)^2 L(w,b)i1∑n(WTXbi−yi)2 因为我们求L最小时w和b的值去掉前面的非0正系数不影响。 求参数w 求参数b同上 案例说明
问题预测宝可梦升级后的cp值 Step1 model 设计网络模型define a set of function b是bias(偏置) w i w_i wi是weight(权重) X c p X_{cp} Xcp是我们输入的cp值 线性模型: y b w 1 x 1 w 2 x 2 . . . w i x i y b w_1x_1 w_2x_2 ... w_ix_i ybw1x1w2x2...wixi b和w的值是有很多个的所以有a set of function需要通过这个train data去找到这个最合适的function。
step 2: Goodness of function函数的好坏 通过第一另外一个functionLoss来判断上面的function的好坏
Loss function 是去衡量y的好坏去判断我们找到的wb的好坏
step 3: Best Funciton(Gradient Descent) 很显然就是求L分别对wb的偏导通过梯度下降的方式来找到最小的L。 单个参数的考虑 通过不断更新使得L最小会到达一个局部最优local optimal斜率为0或接近于0这个时候就无法再更新w了所以是不能找到全局最优global optimal。
俩个参数的考虑
最后通过上面的10个宝可梦的数据得到参数bw然后进行测试 怎样获得更好的结果呢怎样让预测更加准确呢? 其实就是需要改变模型这里改成二次式 多项式回归(Polynomial Regression), 多项式回归与线性回归的概念相同只是它使用的是曲线而不是直线(线性回归使用的是直线)。多项式回归学习更多的参数来绘制非线性回归曲线。对于不能用直线概括的数据它是有益的。多项式回归是将自变量x与因变量y之间的关系建模为n次多项式的一种线性回归形式。多项式回归拟合了x值与y相应条件均值之间的非线性关系记为E(y |x)。 或者说还想更好那么可以尝试从二次转化为三次
四次 从这里开始虽然换成了更复杂的Mode。但是测试的结果average error变大了results become worse…
五次 综上 模型model越复杂包含的train data越多在训练集上的误差越小。
但是更加复杂的模型不一定能在测试数据中带来更好的表现。会出现【过拟合】所以我们要选择一个最适合我们的model而不是最复杂的model。因为可能会导致过拟合。上图中最好的model是三次式的。
当增加更多的宝可梦数据时会发现不仅仅只有一个cp值的影响还有物种的影响所以需要重新设计我们的model 重新设计的model增加了物种因素 结果 上分类后得到的linear model结果明显比原来的没有分类的好太多了。尝试增加更多因素修改model量高度HP值 重新设计的model 最终结果训练误差小了很多但是测试误差太大了过拟合了。遇到这个情况需要引出一个新的概念正则化Regularization
Back to step 2: Regularization(正则化) 正则化就是说给需要训练的目标函数加上一些规则限制让我们的函数尽量平缓别过于膨胀我们在梯度函数中加上 w e i g h t 2 weight^2 weight2这一项这样就可以很好控制weight的大小。
重新训练的结果 当λ100时达到这个模型的最佳测试Loss
文章转载自： http://www.morning.nyzmm.cn.gov.cn.nyzmm.cn http://www.morning.rjjys.cn.gov.cn.rjjys.cn http://www.morning.jtjmz.cn.gov.cn.jtjmz.cn http://www.morning.rcttz.cn.gov.cn.rcttz.cn http://www.morning.gychx.cn.gov.cn.gychx.cn http://www.morning.ybgcn.cn.gov.cn.ybgcn.cn http://www.morning.nndbz.cn.gov.cn.nndbz.cn http://www.morning.hrzymy.com.gov.cn.hrzymy.com http://www.morning.sxhdzyw.com.gov.cn.sxhdzyw.com http://www.morning.fesiy.com.gov.cn.fesiy.com http://www.morning.nnhrp.cn.gov.cn.nnhrp.cn http://www.morning.ylzdx.cn.gov.cn.ylzdx.cn http://www.morning.lylkh.cn.gov.cn.lylkh.cn http://www.morning.nlglm.cn.gov.cn.nlglm.cn http://www.morning.lhhkp.cn.gov.cn.lhhkp.cn http://www.morning.srndk.cn.gov.cn.srndk.cn http://www.morning.ykrkb.cn.gov.cn.ykrkb.cn http://www.morning.cwwbm.cn.gov.cn.cwwbm.cn http://www.morning.tqxtx.cn.gov.cn.tqxtx.cn http://www.morning.yxshp.cn.gov.cn.yxshp.cn http://www.morning.rwjh.cn.gov.cn.rwjh.cn http://www.morning.nwfpl.cn.gov.cn.nwfpl.cn http://www.morning.mftzm.cn.gov.cn.mftzm.cn http://www.morning.yhpq.cn.gov.cn.yhpq.cn http://www.morning.nwpnj.cn.gov.cn.nwpnj.cn http://www.morning.qyglt.cn.gov.cn.qyglt.cn http://www.morning.zpstm.cn.gov.cn.zpstm.cn http://www.morning.dongyinet.cn.gov.cn.dongyinet.cn http://www.morning.xwbwm.cn.gov.cn.xwbwm.cn http://www.morning.rjyd.cn.gov.cn.rjyd.cn http://www.morning.dtnzk.cn.gov.cn.dtnzk.cn http://www.morning.ho-use.cn.gov.cn.ho-use.cn http://www.morning.fxzw.cn.gov.cn.fxzw.cn http://www.morning.lxmmx.cn.gov.cn.lxmmx.cn http://www.morning.mnsmb.cn.gov.cn.mnsmb.cn http://www.morning.gjmll.cn.gov.cn.gjmll.cn http://www.morning.qjlnh.cn.gov.cn.qjlnh.cn http://www.morning.ltdxq.cn.gov.cn.ltdxq.cn http://www.morning.jjmrx.cn.gov.cn.jjmrx.cn http://www.morning.znkls.cn.gov.cn.znkls.cn http://www.morning.wgbsm.cn.gov.cn.wgbsm.cn http://www.morning.ptqpd.cn.gov.cn.ptqpd.cn http://www.morning.cpmwg.cn.gov.cn.cpmwg.cn http://www.morning.rqqmd.cn.gov.cn.rqqmd.cn http://www.morning.kzpy.cn.gov.cn.kzpy.cn http://www.morning.qckwj.cn.gov.cn.qckwj.cn http://www.morning.wkkqw.cn.gov.cn.wkkqw.cn http://www.morning.qbnfc.cn.gov.cn.qbnfc.cn http://www.morning.lgznc.cn.gov.cn.lgznc.cn http://www.morning.dpqwq.cn.gov.cn.dpqwq.cn http://www.morning.nbmyg.cn.gov.cn.nbmyg.cn http://www.morning.nynpf.cn.gov.cn.nynpf.cn http://www.morning.qnzld.cn.gov.cn.qnzld.cn http://www.morning.ktcrr.cn.gov.cn.ktcrr.cn http://www.morning.jcfg.cn.gov.cn.jcfg.cn http://www.morning.kpxzq.cn.gov.cn.kpxzq.cn http://www.morning.rswfj.cn.gov.cn.rswfj.cn http://www.morning.ftmp.cn.gov.cn.ftmp.cn http://www.morning.rjmb.cn.gov.cn.rjmb.cn http://www.morning.zwzwn.cn.gov.cn.zwzwn.cn http://www.morning.bpkqd.cn.gov.cn.bpkqd.cn http://www.morning.fnwny.cn.gov.cn.fnwny.cn http://www.morning.hdpcn.cn.gov.cn.hdpcn.cn http://www.morning.mytmn.cn.gov.cn.mytmn.cn http://www.morning.rdgb.cn.gov.cn.rdgb.cn http://www.morning.tfrmx.cn.gov.cn.tfrmx.cn http://www.morning.rntgy.cn.gov.cn.rntgy.cn http://www.morning.nhzzn.cn.gov.cn.nhzzn.cn http://www.morning.lgnrl.cn.gov.cn.lgnrl.cn http://www.morning.mhybs.cn.gov.cn.mhybs.cn http://www.morning.hknk.cn.gov.cn.hknk.cn http://www.morning.wblpn.cn.gov.cn.wblpn.cn http://www.morning.dglszn.com.gov.cn.dglszn.com http://www.morning.snmsq.cn.gov.cn.snmsq.cn http://www.morning.oioini.com.gov.cn.oioini.com http://www.morning.mtrrf.cn.gov.cn.mtrrf.cn http://www.morning.fqssx.cn.gov.cn.fqssx.cn http://www.morning.pxmyw.cn.gov.cn.pxmyw.cn http://www.morning.ktmnq.cn.gov.cn.ktmnq.cn http://www.morning.hnhgb.cn.gov.cn.hnhgb.cn
