广西南宁建设厅网站,百度做网站需要交钱吗,国外低代码开发平台,网站设计的原则不包括频率派和贝叶斯派
频率派认为可以通过大量实验#xff0c;从样本推断总体。比如假定总体服从均值为μ\muμ#xff0c;方差为σ\sigmaσ的分布。根据中心极限定理#xff0c;是可以通过抽样估算总体的参数的#xff0c;而且抽样次数越多#xff0c;对总体的估计就越准确。…频率派和贝叶斯派
频率派认为可以通过大量实验从样本推断总体。比如假定总体服从均值为μ\muμ方差为σ\sigmaσ的分布。根据中心极限定理是可以通过抽样估算总体的参数的而且抽样次数越多对总体的估计就越准确。需要指出的是频率派的观点认为μ\muμ和σ\sigmaσ都是固定就是说他们都是某个确定的值。 但实际上实验次数越多成本就越高而且很多时候是没有办法进行多次试验的。这时候频率派对总体参数的估计就会存在较大偏差。 贝叶斯派则认为可以先对总体的参数进行粗略估计先验概率然后根据实验结果不断调整参数的估计值后验概率。而且贝叶斯派认为参数并不是固定的而是服从某个概率分布的值。
朴素贝叶斯法
独立同分布假设
假设训练数据集T(x1,y1),(x2,y2),...,(xn,yn)T{(x_1,y_1) ,(x_2,y_2),...,(x_n,y_n)}T(x1,y1),(x2,y2),...,(xn,yn)可以理解为每个xxx都代表了一个完整的case。比如x1x_1x1可以用x1(1)x_1^{(1)}x1(1)来表示第一个样本的第1个特征而一个样本可以有多个特征比如x1(k)x_1^{(k)}x1(k)就表示第1个样本的第kkk个特征而y1y_1y1就表示这个x1x_1x1这个case所属的类。 书上还有一句话训练集是独立同分布的。也就是说所使用的到的样本都是从同一个总体中拿出来的自然就服从同一个分布如果不服从同分布也就意味着我们无法得到最终的模型我们只能根据不同的case得到不同的模型。独立就是说各样本之间互不影响得到什么样的yyy值只要看自己有什么样的xxx就可以了x1x_1x1不用去管x2x_2x2的y2y_2y2值是怎么得到的。
学习过程
朴素贝叶斯法的最终目的是通过训练集学习xxx和yyy的联合概率分布P(X,Y)P(X,Y)P(X,Y)。这样当我们知道某个测试样本的XXX我们就可以根据联合概率分布求出YYY的概率分布。然后我们看哪个YYY能够让P(X,Y)P(X,Y)P(X,Y)最大我们就把这个YYY作为这个测试样本XXX的类别。 我们假设YYY有kkk个不同的取值也就是说样本一共有kkk类。而我们一共有nnn个特征Xi(1),Xi(2),...,Xi(n)X_i^{(1)},X_i^{(2)},...,X_i^{(n)}Xi(1),Xi(2),...,Xi(n)。 而为了通过训练集学到联合概率分布P(X,Y)P(X,Y)P(X,Y)我们需要分别学到先验概率分布P(Yck)P(Yc_k)P(Yck)以及条件概率分布P(X(1)x(1),X(2)x(2),...,X(n)x(n)∣Yck)P(X^{(1)}x^{(1)},X^{(2)}x^{(2)},...,X^{(n)}x^{(n)}|Yc_k)P(X(1)x(1),X(2)x(2),...,X(n)x(n)∣Yck) 这是因为当我们拿到测试数据集的时候我们面临的问题是求 P(Yck∣X(1)x(1),X(2)x(2),...,X(n)x(n))P(Yc_k|X^{(1)}x^{(1)},X^{(2)}x^{(2)},...,X^{(n)}x^{(n)})P(Yck∣X(1)x(1),X(2)x(2),...,X(n)x(n)) 这是一个条件概率求解而根据贝叶斯公式我们知道 P(A∣B)P(A)P(B∣A)P(B)P(A|B)\frac{P(A)P(B|A)}{P(B)}P(A∣B)P(B)P(A)P(B∣A) 所以上面那个条件概率就等于 P(Yck)P(X(1)x(1),X(2)x(2),...,X(n)x(n)∣Yck)P(X(1)x(1),X(2)x(2),...,X(n)x(n)) (1)\frac{P(Yc_k)P(X^{(1)}x^{(1)},X^{(2)}x^{(2)},...,X^{(n)}x^{(n)}|Yc_k)}{P(X^{(1)}x^{(1)},X^{(2)}x^{(2)},...,X^{(n)}x^{(n)})} \text{ \tag{1}}P(X(1)x(1),X(2)x(2),...,X(n)x(n))P(Yck)P(X(1)x(1),X(2)x(2),...,X(n)x(n)∣Yck) (1) 而且我们知道朴素贝叶斯之所以朴素就是因为这个算法假定各特征都是独立的。也就是说X(1)X^{(1)}X(1)、X(2)X^{(2)}X(2)……X(n)X^{(n)}X(n)的互不影响没有关系。其实相当于是把问题简单化了。有了这个条件公式1就可以进一步化简 P(X(1)x(1),X(2)x(2),...,X(n)x(n))∏i1nP(X(i)x(i))P(X^{(1)}x^{(1)},X^{(2)}x^{(2)},...,X^{(n)}x^{(n)})\prod_{i1}^nP(X^{(i)}x^{(i)})P(X(1)x(1),X(2)x(2),...,X(n)x(n))i1∏nP(X(i)x(i)) P(X(1)x(1),X(2)x(2),...,X(n)x(n)∣Yck)∏i1nP(X(i)x(i)∣Yck)P(X^{(1)}x^{(1)},X^{(2)}x^{(2)},...,X^{(n)}x^{(n)}|Yc_k)\prod_{i1}^nP(X^{(i)}x^{(i)}|Yc_k)P(X(1)x(1),X(2)x(2),...,X(n)x(n)∣Yck)i1∏nP(X(i)x(i)∣Yck) 所以公式1最后就变成了 f1P(Yck)∏i1nP(X(i)x(i)∣Yck)∏i1nP(X(i)x(i))(2)f_1\frac{P(Yc_k)\prod_{i1}^nP(X^{(i)}x^{(i)}|Yc_k)}{\prod_{i1}^nP(X^{(i)}x^{(i)})} \text{\tag{2}}f1∏i1nP(X(i)x(i))P(Yck)∏i1nP(X(i)x(i)∣Yck)(2) 我们知道现在有了样本X(i)x(i)X^{(i)}x^{(i)}X(i)x(i)现在要求的是当f1f_1f1最大的时候ckc_kck是多少也就是说现在ckc_kck是未知量而跟X(i)X^{(i)}X(i)相关的都是由数据集提供的所以求f1f_1f1的最大值就等价于求f2f_2f2的最大值二者的最大值不一样我们也不关心但取得最大值时的ckc_kck是相等的。 f2P(Yck)∏i1nP(X(i)x(i)∣Yck)(3)f_2P(Yc_k)\prod_{i1}^nP(X^{(i)}x^{(i)}|Yc_k) \text{\tag{3}}f2P(Yck)i1∏nP(X(i)x(i)∣Yck)(3)
参数估计
极大似然估计
朴素贝叶斯法意味着我们要估计P(Yck)P(Yc_k)P(Yck)以及P(X(i)x(i)∣Yck)P(X^{(i)}x^{(i)}|Yc_k)P(X(i)x(i)∣Yck)。 先验概率P(Yck)P(Yc_k)P(Yck)的极大似然估计是 P(Yck)∑i1nI(yick)N,k1,2...KP(Yc_k)\frac{\sum\limits_{i1}^nI(y_ic_k)}{N} \text ,k1,2...KP(Yck)Ni1∑nI(yick),k1,2...K 而每个特征X(i)X^{(i)}X(i)都可能有很多个取值所以假设第iii个特征X(i)X^{(i)}X(i)的可能取值为结合{ai1,ai2...aiSi}\lbrace{a_{i1},a_{i2}...a_{iS_i}}\rbrace{ai1,ai2...aiSi}也就是说我们假设第iii个特征可能的取值SiS_iSi种。 条件概率的极大似然估计是P(X(i)ail∣Yck)∑i1nI(xj(i)ail,yick)∑i1nI(yick)P(X^{(i)}a_{il}|Yc_k)\frac{\sum\limits_{i1}^n I(x^{(i)}_ja_{il},y_ic_k)}{\sum\limits_{i1}^nI(y_ic_k)}P(X(i)ail∣Yck)i1∑nI(yick)i1∑nI(xj(i)ail,yick) 上式小标太多解释一下xj(i)x^{(i)}_jxj(i)表示第jjj个样本的第iii个特征aila_{il}ail表示第iii个特征的取值为aila_{il}ail。 III为指示函数也就是说当括号中的关系成立时I1I1I1不成立时I0I0I0。 所以从这里也可以看出来这个参数的估计过程就是“数数”。先验概率就是数YckYc_kYck出现多少次占比多少。条件概率就是数YckYc_kYck的时候x(i)x^{(i)}x(i)这个特征取aila_{il}ail出现多少次占比多少。可想而知这是一项庞大的“数数”工程。
贝叶斯估计
极大似然估计可能会发生一个比较尴尬的事情比如我们就假设样本的第3个特征X(3)X^{(3)}X(3)在训练集中所有取值为{1,3,5}\lbrace1,3,5\rbrace{1,3,5}但是在测试集中出现一个新值4。这时如果按照极大似然法条件概率P(X(i)4∣Yck)0P(X^{(i)}4|Yc_k)0P(X(i)4∣Yck)0因为训练集没有这个4所以从训练集学到的条件概率就是0。而目标函数f2f_2f2是一系列条件概率的累乘所以最后无论其他特征的条件概率是多少f2f_2f2恒等于0。 也就意味着学到的这个联合分布过拟合了对新出现的数据预测能力极差。 为了避免这一现象现在需要引入贝叶斯估计其实也可以理解为正则化的手段。具体的条件概率的贝叶斯估计是P(X(i)ail∣Yck)∑i1nI(xj(i)ail,yick)λ∑i1nI(yick)SiλP(X^{(i)}a_{il}|Yc_k)\frac{\sum\limits_{i1}^n I(x^{(i)}_ja_{il},y_ic_k)\lambda}{\sum\limits_{i1}^nI(y_ic_k)S_i\lambda}P(X(i)ail∣Yck)i1∑nI(yick)Siλi1∑nI(xj(i)ail,yick)λ 上式中λ≥0\lambda\geq0λ≥0显而易见当λ0\lambda0λ0的时候就是极大似然估计。根据习惯经常取λ1\lambda1λ1此时称为拉普拉斯平滑。 同样也为了避免先验概率等于0同样可以引入贝叶斯估计P(Yck)∑i1nI(yick)λNKλP(Yc_k)\frac{\sum\limits_{i1}^nI(y_ic_k)\lambda}{NK\lambda}P(Yck)NKλi1∑nI(yick)λ 由于当λ1\lambda1λ1并且在样本量NNN越来越大的时候λ\lambdaλ对先验概率和条件概率的影响就会越来越小甚至忽略不计。这就是所谓的拉普拉斯平滑的思想。 文章转载自： http://www.morning.kjawz.cn.gov.cn.kjawz.cn http://www.morning.drrt.cn.gov.cn.drrt.cn http://www.morning.qncqd.cn.gov.cn.qncqd.cn http://www.morning.fwcjy.cn.gov.cn.fwcjy.cn http://www.morning.rjznm.cn.gov.cn.rjznm.cn http://www.morning.lwxsy.cn.gov.cn.lwxsy.cn http://www.morning.sxmbk.cn.gov.cn.sxmbk.cn http://www.morning.ftntr.cn.gov.cn.ftntr.cn http://www.morning.fmswb.cn.gov.cn.fmswb.cn http://www.morning.bkcnq.cn.gov.cn.bkcnq.cn http://www.morning.spdyl.cn.gov.cn.spdyl.cn http://www.morning.dkzrs.cn.gov.cn.dkzrs.cn http://www.morning.tzlfc.cn.gov.cn.tzlfc.cn http://www.morning.ykmtz.cn.gov.cn.ykmtz.cn http://www.morning.yhljc.cn.gov.cn.yhljc.cn http://www.morning.skmzm.cn.gov.cn.skmzm.cn http://www.morning.bkfdf.cn.gov.cn.bkfdf.cn http://www.morning.tkyxl.cn.gov.cn.tkyxl.cn http://www.morning.lmdkn.cn.gov.cn.lmdkn.cn http://www.morning.klwxh.cn.gov.cn.klwxh.cn http://www.morning.dbsch.cn.gov.cn.dbsch.cn http://www.morning.wnwjf.cn.gov.cn.wnwjf.cn http://www.morning.xfyjn.cn.gov.cn.xfyjn.cn http://www.morning.cytr.cn.gov.cn.cytr.cn http://www.morning.xdfkrd.cn.gov.cn.xdfkrd.cn http://www.morning.tsynj.cn.gov.cn.tsynj.cn http://www.morning.burpgr.cn.gov.cn.burpgr.cn http://www.morning.lsyk.cn.gov.cn.lsyk.cn http://www.morning.wknj.cn.gov.cn.wknj.cn http://www.morning.qtzk.cn.gov.cn.qtzk.cn http://www.morning.yjmlg.cn.gov.cn.yjmlg.cn http://www.morning.lxwjx.cn.gov.cn.lxwjx.cn http://www.morning.grnhb.cn.gov.cn.grnhb.cn http://www.morning.gnhsg.cn.gov.cn.gnhsg.cn http://www.morning.ckwxs.cn.gov.cn.ckwxs.cn http://www.morning.ymrq.cn.gov.cn.ymrq.cn http://www.morning.ddgl.com.cn.gov.cn.ddgl.com.cn http://www.morning.wdshp.cn.gov.cn.wdshp.cn http://www.morning.nkbfc.cn.gov.cn.nkbfc.cn http://www.morning.bkwd.cn.gov.cn.bkwd.cn http://www.morning.dfqmy.cn.gov.cn.dfqmy.cn http://www.morning.qdrhf.cn.gov.cn.qdrhf.cn http://www.morning.tpdg.cn.gov.cn.tpdg.cn http://www.morning.fglyb.cn.gov.cn.fglyb.cn http://www.morning.jybj.cn.gov.cn.jybj.cn http://www.morning.pluimers.cn.gov.cn.pluimers.cn http://www.morning.fssjw.cn.gov.cn.fssjw.cn http://www.morning.mzhhr.cn.gov.cn.mzhhr.cn http://www.morning.pwhjr.cn.gov.cn.pwhjr.cn http://www.morning.wflpj.cn.gov.cn.wflpj.cn http://www.morning.btnmj.cn.gov.cn.btnmj.cn http://www.morning.gcfrt.cn.gov.cn.gcfrt.cn http://www.morning.fpbj.cn.gov.cn.fpbj.cn http://www.morning.nktxr.cn.gov.cn.nktxr.cn http://www.morning.ntdzjx.com.gov.cn.ntdzjx.com http://www.morning.zymgs.cn.gov.cn.zymgs.cn http://www.morning.hyfrd.cn.gov.cn.hyfrd.cn http://www.morning.ftzll.cn.gov.cn.ftzll.cn http://www.morning.qrksj.cn.gov.cn.qrksj.cn http://www.morning.jwgmx.cn.gov.cn.jwgmx.cn http://www.morning.rwzqn.cn.gov.cn.rwzqn.cn http://www.morning.zwmjq.cn.gov.cn.zwmjq.cn http://www.morning.ydwsg.cn.gov.cn.ydwsg.cn http://www.morning.ohmyjiu.com.gov.cn.ohmyjiu.com http://www.morning.crqpl.cn.gov.cn.crqpl.cn http://www.morning.mqmxg.cn.gov.cn.mqmxg.cn http://www.morning.qkbwd.cn.gov.cn.qkbwd.cn http://www.morning.lwnb.cn.gov.cn.lwnb.cn http://www.morning.gyzfp.cn.gov.cn.gyzfp.cn http://www.morning.jrplk.cn.gov.cn.jrplk.cn http://www.morning.xysxj.com.gov.cn.xysxj.com http://www.morning.qbpqw.cn.gov.cn.qbpqw.cn http://www.morning.mlcwl.cn.gov.cn.mlcwl.cn http://www.morning.dgsx.cn.gov.cn.dgsx.cn http://www.morning.wtxdp.cn.gov.cn.wtxdp.cn http://www.morning.prysb.cn.gov.cn.prysb.cn http://www.morning.zgpgl.cn.gov.cn.zgpgl.cn http://www.morning.wwgpy.cn.gov.cn.wwgpy.cn http://www.morning.qqfcf.cn.gov.cn.qqfcf.cn http://www.morning.bydpr.cn.gov.cn.bydpr.cn
