上海定制网站建设,wordpress的wp_list_cats,有哪些网站开发技术,企业网站域名注册1. 生成模型 VS 判别模型
生成模型#xff1a; 由数据学得联合概率分布函数 P ( X , Y ) P(X,Y) P(X,Y),求出条件概率分布 P ( Y ∣ X ) P(Y|X) P(Y∣X)的预测模型。 朴素贝叶斯、隐马尔可夫模型、高斯混合模型、文档主题生成模型#xff08;LDA#xff09;、限制玻尔兹曼机…1. 生成模型 VS 判别模型
生成模型 由数据学得联合概率分布函数 P ( X , Y ) P(X,Y) P(X,Y),求出条件概率分布 P ( Y ∣ X ) P(Y|X) P(Y∣X)的预测模型。 朴素贝叶斯、隐马尔可夫模型、高斯混合模型、文档主题生成模型LDA、限制玻尔兹曼机。 判别式模型 由数据直接学习决策函数 Y f ( X ) Yf(X) Yf(X),或由条件分布概率 P ( Y ∣ X ) P(Y|X) P(Y∣X)作为预测模型。 K近邻、SVM、决策树、感知机、线性判别分析LDA、线性回归、传统的神经网络、逻辑斯蒂回归、boosting、条件随机场。
2. 线性回归
原理用线性函数拟合数据用 MSE 计算损失然后用梯度下降法(GD)找到一组使 MSE 最小的权重。
3. 什么是回归哪些模型可用于解决回归问题
指分析因变量和自变量之间关系。 线性回归: 对异常值非常敏感 多项式回归: 如果指数选择不当容易过拟合; 岭回归加入L2正则项等价于对参数 w w w引入协方差为 α \alpha α的零均值高斯先验不能做variable selection Lasso回归加入L1正则项等价于对参数 w w w引入拉普拉斯先验可以做variable selection弹性网络回归。
4. 梯度下降法找到的一定是下降最快的方向吗
不一定它只是目标函数在当前的点的切平面上下降最快的方向。 在实际执行期中牛顿方向考虑海森矩阵才一般被认为是下降最快的方向可以达到超线性的收敛速度。梯度下降类的算法的收敛速度一般是线性甚至次线性的在某些带复杂约束的问题。
5. 逻辑回归
是一中常见的用于分类的模型本质上还是一个线性回归先把特征线性组合然后使用sigmoid函数单调可微将结果约束到0~1之间结果用于二分类或者回归预测。
6. 逻辑回归和最大似然有什么关系
通过极大似然法可以求解逻辑回归模型中的参数。最大似然估计就是通过已知结果去反推最大概率导致该结果的参数。极大似然估计是概率论在统计学中的应用它提供了一种给定观察数据来评估模型参数的方法即 “模型已定参数未知”通过若干次试验观察其结果利用实验结果得到某个参数值能够使样本出现的概率为最大则称为极大似然估计。逻辑回归是一种监督式学习是有训练标签的就是有已知结果的从这个已知结果入手去推导能获得最大概率的结果参数 β \beta β只要我们得出了这个参数那我们的模型就自然可以很准确的预测未知的数据了。
7. 逻辑回归的损失函数为什么不用MSE作为损失函数 L o s s − y log ( y ^ ) − ( 1 − y ) log ( 1 − y ^ ) Loss -y\log(\hat{y})-(1-y)\log(1-\hat{y}) Loss−ylog(y^)−(1−y)log(1−y^) 原因
损失函数的角度逻辑回归预测函数是非线性的采用MSE得到的损失函数是非凸函数会存在很多局部极小值梯度下降法可能无法获得全局最优解。极大似然的角度采用极大似然法估计逻辑回归模型的参数最终得到的对数似然函数形式与对数损失函数一致。
8. 逻辑回归中样本不均衡我们怎么处理
调整分类阈值不统一使用0.5根据样本中类别的比值进行调整。多类样本负采样。进一步也可将多类样本负采样构建多个训练集最后聚合多个模型的结果。少类样本过采样随机复制、基于聚类的过采样、SMOTE。改变性能指标推荐采用ROC、AUC、F1-Score。模型训练增加正负样本惩罚权重少类样本权重加大增大损失项。
9. 逻辑回归模型是线性模型还是非线性为什么能推导它的原理吗
逻辑回归模型是广义线性模型但其原始形式是非线性的决定这个复合函数是否是线性的要看 g ( x ) g(x) g(x)的形式假如阈值为 0.5那么 g ( x ) 0 g(x)0 g(x)0时预测为 1否则预测为 0.因此这里的$ g(x)$实际是一个决策面这个决策面的两侧分别是正例和负例。逻辑回归的作用是把决策面两侧的点映射到逻辑回归曲线阈值的两侧。
10. 逻辑回归如何解决非线性分类问题
加核函数或特征变换显式地把特征映射到高维空间。
11. 逻辑回归使用注意事项相比别的分类模型为什么使用它
注意建模数据量不能太少目标变量中每个类别所对应的样本数量要足够充分才能支持建模排除共线性问题自变量间相关性很大异常值会给模型带来很大干扰要剔除逻辑回归不能处理缺失值所以之前应对缺失值进行适当处理。 相对于别的模型用逻辑回归的好处是在于在数据量比较大的情况下越复杂的模型可能会越慢逻辑回归就显得会快上很多了。
12. LR 和 DNN 联系和区别是什么
二者都是用于二分类问题且无法学习比较复杂的非线性模型区别在于DNN 是神经网络,输出结果为 ( 1 , − 1 ) (1,-1) (1,−1)lr 输出结果为 (0,1)DNN 的激活函数为signlr 的激活函数为 sigmoid。
13. LR逻辑回归为什么对特征进行离散化? 离散特征的增加和减少都很容易易于模型的快速迭代 稀疏向量内积乘法运算速度快计算结果方便存储容易扩展 离散化后的特征对异常数据有很强的鲁棒性比如一个特征是年龄30是1否则0。如果特征没有离散化一个异常数据“年龄300岁”会给模型造成很大的干扰 逻辑回归属于广义线性模型表达能力受限单变量离散化为N个后每个变量有单独的权重相当于为模型引入了非线性能够提升模型表达能力加大拟合 离散化后可以进行特征交叉由 M N MN MN个变量变为 M × N M\times N M×N个变量进一步引入非线性提升表达能力 特征离散化后模型会更稳定比如如果对用户年龄离散化20-30作为一个区间不会因为一个用户年龄长了一岁就变成一个完全不同的人。当然处于区间相邻处的样本会刚好相反所以怎么划分区间是门学问 特征离散化以后起到了简化了逻辑回归模型的作用降低了模型过拟合的风险。
14. 谈谈牛顿法
收敛速度快指数级收敛但是不保证线性收敛只保证二阶导收敛。 牛顿法比梯度下降法收敛的要快这是因为牛顿法是二阶收敛梯度下降是一阶收敛。事实上梯度下降法每次只从当前位置选一个上升速度最大的方向走一步牛顿法在选择方向时不仅会考虑上升速度是否够大还会考虑你走了一步之后上升速度是否会变得更大。所以所需要的迭代次数更少。从几何上说牛顿法就是用一个二次曲面去拟合你当前所处位置的局部曲面而梯度下降法是用一个平面去拟合当前的局部曲面通常情况下二次曲面的拟合会比平面更好所以牛顿法选择的下降路径会更符合真实的最优下降路径。
15. 牛顿法优化过程
牛顿法的基本思想是用迭代点的梯度信息和二阶导数对目标函数进行二次函数逼近然后把二次函数的极小值作为新的迭代点并不断重复这一过程直到求出极小点。 假设 f ( x ) f(x) f(x)的二阶导数 ∇ 2 f ( x ) \nabla^2f(x) ∇2f(x)连续函数 f ( x ) f(x) f(x)在 x k x_k xk处的二阶泰勒展开为 f ( x ) ≈ f k ∇ f ( x k ) ( x − x k ) 1 2 ( x − x k ) T ∇ 2 f ( x k ) ( x − x k ) f(x) \approx f_k \nabla f(x_k)(x- x_k)\frac 12 (x-x_k)^T\nabla ^2f(x_k)(x-x_k) f(x)≈fk∇f(xk)(x−xk)21(x−xk)T∇2f(xk)(x−xk) 其中 f k : f ( x k ) f_k:f(x_k) fk:f(xk)求函数的驻点那就是求导并令导数为0即 ∇ f ( x ) ∇ f ( x k ) ∇ 2 f ( x k ) ( x − x k ) 0 \nabla f(x)\nabla f(x_k)\nabla ^2f(x_k)(x-x_k)0 ∇f(x)∇f(xk)∇2f(xk)(x−xk)0 如果二阶导数为非奇异可以得到下一个迭代点上式求出来的 x x x就是 x k 1 x_{k1} xk1 x k 1 x k − ∇ 2 f ( x k ) ∇ f ( x k ) x_{k1}x_k-\nabla^2f(x_k)\nabla f(x_k) xk1xk−∇2f(xk)∇f(xk) 如果二阶导数奇异那么可以求解下面线性方程确定搜索方向 d k d_k dk ∇ 2 f ( x k ) d k − ∇ f ( x k ) \nabla^2f(x_k)d_k-\nabla f(x_k) ∇2f(xk)dk−∇f(xk) 后计算下一个迭代点 x k 1 x k d k x_{k1}x_k d_k xk1xkdk
16. 交叉熵的物理含义
交叉熵是由相对熵导出的相对熵的含义是衡量两个概率分布 p p p 与 q q q 之间的差异。相对熵的前半部分是交叉熵后半部分是常数相对熵达到最小值的时候交叉熵也达到了最小值所以交叉熵也可以衡量计算之后的概率分布 q q q 与真实概率分布 p p p 之间的差异。交叉熵最小值等同于最大似然估计。
17. SVM
SVM 是一种二分类模型学习的目标是在特征空间中找到一个分离超平面且此超平面是间隔最大化的最优分离超平面最终可转化为一个凸二次规划问题求解。间隔最大是它有别于感知机 1当训练样本线性可分时通过硬间隔最大化学习一个线性分类器即线性可分支持向量机 2当训练数据近似线性可分时引入松弛变量通过软间隔最大化学习一个线性分类器即线性支持向量机 3当训练数据线性不可分时通过使用核技巧及软间隔最大化学习非线性支持向量机。 注以上各SVM的数学推导应该熟悉硬间隔最大化几何间隔—学习的对偶问题—软间隔最大化引入松弛变量— 非线性支持向量机核技巧
18. SVMLR 的区别联系重点介绍下 SVM 算法。
相同之处如果不考虑核函数LR和SVM都是线性分类器都是监督算法都是判别模型。不同之处1.损失函数不同LR使用logistical loss交叉熵SVM使用hingelossSVM的损失函数自带正则项而LR则需要自己添加正则项2.解决非线性问题时SVM采用核函数机制而LR一般不用因为复杂核函数需要很大计算量SVM中只有支持向量参与计算而LR是全部样本都需要参与计算若使用核函数计算量太大。3.对异常值的敏感度不一样。LR中所有样本都对分类平面有影响所以异常点的影响会被掩盖。但SVM的分类平面取决于支持向量如果支持向量受到异常值影响则结果难以预测。4.在高维空间LR的表现比SVM更稳定因为SVM是要最大化间隔这个间隔依赖与距离测度在高维空间时这个距离测度往往不太好。所以需要做归一化
假设特征数量为 n n n训练样本数量为 m m m 1如果 n n n相对于 m m m更大比如 n 10000 n10000 n10000 m 1000 m1000 m1000则使用LR或线性SVM 理由特征数相对于训练样本数已经够大了使用线性模型就能取得不错的效果不需要过于复杂的模型。
2如果 n n n 较小 m m m比较大比如 n 10 n 10 n10 m 10 , 000 m 10,000 m10,000则使用 SVM高斯核函数 理由在训练样本数量足够大而特征数较小的情况下可以通过使用复杂核函数的 SVM 来获得更好的预测性能而且因为训练样本数量并没有达到百万级使用复杂核函数的 SVM 也不会导致运算过慢。
3如果 n n n 较小 m m m 非常大比如 n 100 n 100 n100, m 500 , 000 m 500,000 m500,000则应该引入创造更多的特征然后使用LR 或者线性核函数的 SVM。 理由因为训练样本数量特别大使用复杂核函数的 SVM 会导致运算很慢因此应该考虑通过引入更多特征然后使用线性核函数的 SVM 或者 LR来构建预测性更好的模型。
19. SVM 为什么采用间隔最大化
当训练数据线性可分时存在无穷个分离超平面可以将两类数据正确分开。感知机利用误分类最小策略求得分离超平面不过此时的解有无穷多个。线性可分支持向量机利用间隔最大化求得最优分离超平面这时解是唯一的。另一方面此时的分隔超平面所产生的分类结果是最鲁棒的对未知实例的泛化能力最强。可以借此机会阐述一下几何间隔以及函数间隔的关系。
20. 为什么 SVM 要引入核函数
原始样本空间可能会线性不可分这样需要将原始空间映射到一个更高维的特征空间使得样本在这个特征空间线性可分。样本映射到高维空间后的内积求解通常是困难的引入核函数可简化内积的计算。
21. 为什么SVM对缺失数据敏感
这里说的缺失数据是指缺失某些特征数据向量数据不完整。SVM 没有处理缺失值的策略。而 SVM 希望样本在特征空间中线性可分所以特征空间的好坏对SVM的性能很重要。缺失特征数据将影响训练结果的好坏。
22. 核函数要满足什么性质常见的核函数有哪些
核函数的性质核函数必须是连续的对称的并且最优选地应该具有正半定 Gram 矩阵。据说满足 Mercer 定理的核是正半定数意味着它们的核矩阵只有非负特征值。使用肯定的内核确保优化问题将是凸的和解决方案将是唯一的。 然而许多并非严格定义的核函数在实践中表现得很好。一个例子是 Sigmoid内核尽管它广泛使用但它对于其参数的某些值不是正半定的。 Boughorbel2005也实验证明只有条件正定的内核在某些应用中可能胜过大多数经典内核。 内核还可以分为各向异性静止各向同性静止紧凑支撑局部静止非稳定或可分离非平稳。此外内核也可以标记为 scale-invariant规模不变或scale-dependent规模依赖这是一个有趣的属性因为尺度不变内核驱动训练过程不变的数据的缩放。 补充Mercer定理任何半正定的函数都可以作为核函数。所谓半正定的函数 f ( x i , x j ) f(x_i,x_j) f(xi,xj)是指拥有训练数据集合 ( x 1 , x 2 , … , x n ) (x_1,x_2,\dots,x_n) (x1,x2,…,xn)我们定义一个矩阵的元素 a i j f ( x i , x j ) a_{ij}f(x_i,x_j) aijf(xi,xj)这个矩阵是 n × n n\times n n×n如果这个矩阵式半正定的那么 f ( x i , x j ) f(x_i,x_j) f(xi,xj)就称为半正定函数。这个 Mercer 定理不是核函数必要条件只是一个充分条件即还有不满足 mercer 定理的函数也可以是核函数。 几种常用的核
线性核线性内核是最简单的内核函数。它由内积 x y xy xy加上可选的常数 c c c给出。使用线性内核的内核算法通常等于它们的非内核对应物即具有线性内核的 KPCA与标准 PCA 相同。多项式核函数多项式核是非固定内核。 多项式内核非常适合于所有训练数据都归一化的问题。高斯核高斯核是径向基函数核的一个例子。可调参数 σ \sigma σ在内核的性能中起着主要作用并且应该仔细地调整到手头的问题。 如果过高估计指数将几乎呈线性高维投影将开始失去其非线性功率。 另一方面如果低估该函数将缺乏正则化并且决策边界将对训练数据中的噪声高度敏感。指数的内核指数核与高斯核密切相关只有正态的平方被忽略。 它也是一个径向基函数内核。拉普拉斯算子核拉普拉斯核心完全等同于指数内核除了对 σ \sigma σ参数的变化不那么敏感。作为等价的它也是一个径向基函数内核。 文章转载自： http://www.morning.sfwcx.cn.gov.cn.sfwcx.cn http://www.morning.thbqp.cn.gov.cn.thbqp.cn http://www.morning.gfhng.cn.gov.cn.gfhng.cn http://www.morning.rhsr.cn.gov.cn.rhsr.cn http://www.morning.hqwcd.cn.gov.cn.hqwcd.cn http://www.morning.lsnnc.cn.gov.cn.lsnnc.cn http://www.morning.gnfkl.cn.gov.cn.gnfkl.cn http://www.morning.kyfnh.cn.gov.cn.kyfnh.cn http://www.morning.sdkaiyu.com.gov.cn.sdkaiyu.com http://www.morning.nlysd.cn.gov.cn.nlysd.cn http://www.morning.kyfnh.cn.gov.cn.kyfnh.cn http://www.morning.sjsks.cn.gov.cn.sjsks.cn http://www.morning.fydsr.cn.gov.cn.fydsr.cn http://www.morning.dfhkh.cn.gov.cn.dfhkh.cn http://www.morning.klcdt.cn.gov.cn.klcdt.cn http://www.morning.rwpfb.cn.gov.cn.rwpfb.cn http://www.morning.pmdlk.cn.gov.cn.pmdlk.cn http://www.morning.httpm.cn.gov.cn.httpm.cn http://www.morning.gpsrk.cn.gov.cn.gpsrk.cn http://www.morning.bnfsw.cn.gov.cn.bnfsw.cn http://www.morning.mjzgg.cn.gov.cn.mjzgg.cn http://www.morning.tdldh.cn.gov.cn.tdldh.cn http://www.morning.bmmhs.cn.gov.cn.bmmhs.cn http://www.morning.xkgyh.cn.gov.cn.xkgyh.cn http://www.morning.sbwr.cn.gov.cn.sbwr.cn http://www.morning.nggbf.cn.gov.cn.nggbf.cn http://www.morning.plwfx.cn.gov.cn.plwfx.cn http://www.morning.cbqqz.cn.gov.cn.cbqqz.cn http://www.morning.lqljj.cn.gov.cn.lqljj.cn http://www.morning.tnbas.com.gov.cn.tnbas.com http://www.morning.nwynx.cn.gov.cn.nwynx.cn http://www.morning.dzyxr.cn.gov.cn.dzyxr.cn http://www.morning.qgtfl.cn.gov.cn.qgtfl.cn http://www.morning.ngmjn.cn.gov.cn.ngmjn.cn http://www.morning.tqygx.cn.gov.cn.tqygx.cn http://www.morning.mrpqg.cn.gov.cn.mrpqg.cn http://www.morning.jfbrt.cn.gov.cn.jfbrt.cn http://www.morning.zttjs.cn.gov.cn.zttjs.cn http://www.morning.gftnx.cn.gov.cn.gftnx.cn http://www.morning.kqgsn.cn.gov.cn.kqgsn.cn http://www.morning.mpbgy.cn.gov.cn.mpbgy.cn http://www.morning.nwgkk.cn.gov.cn.nwgkk.cn http://www.morning.ddrdt.cn.gov.cn.ddrdt.cn http://www.morning.hnmbq.cn.gov.cn.hnmbq.cn http://www.morning.nfccq.cn.gov.cn.nfccq.cn http://www.morning.lbggk.cn.gov.cn.lbggk.cn http://www.morning.yfcbf.cn.gov.cn.yfcbf.cn http://www.morning.vehna.com.gov.cn.vehna.com http://www.morning.rfldz.cn.gov.cn.rfldz.cn http://www.morning.kuaijili.cn.gov.cn.kuaijili.cn http://www.morning.ysgnb.cn.gov.cn.ysgnb.cn http://www.morning.cbnjt.cn.gov.cn.cbnjt.cn http://www.morning.dodoking.cn.gov.cn.dodoking.cn http://www.morning.ysbrz.cn.gov.cn.ysbrz.cn http://www.morning.wptrm.cn.gov.cn.wptrm.cn http://www.morning.xtyyg.cn.gov.cn.xtyyg.cn http://www.morning.kqzxk.cn.gov.cn.kqzxk.cn http://www.morning.jlxqx.cn.gov.cn.jlxqx.cn http://www.morning.gjlxn.cn.gov.cn.gjlxn.cn http://www.morning.xpqsk.cn.gov.cn.xpqsk.cn http://www.morning.inheatherskitchen.com.gov.cn.inheatherskitchen.com http://www.morning.qnklx.cn.gov.cn.qnklx.cn http://www.morning.lbpfl.cn.gov.cn.lbpfl.cn http://www.morning.qfgwx.cn.gov.cn.qfgwx.cn http://www.morning.dnls.cn.gov.cn.dnls.cn http://www.morning.jpfpc.cn.gov.cn.jpfpc.cn http://www.morning.mjats.com.gov.cn.mjats.com http://www.morning.ytfr.cn.gov.cn.ytfr.cn http://www.morning.krtcjc.cn.gov.cn.krtcjc.cn http://www.morning.qsmch.cn.gov.cn.qsmch.cn http://www.morning.gghhmi.cn.gov.cn.gghhmi.cn http://www.morning.smggx.cn.gov.cn.smggx.cn http://www.morning.dsncg.cn.gov.cn.dsncg.cn http://www.morning.mlyq.cn.gov.cn.mlyq.cn http://www.morning.rjmd.cn.gov.cn.rjmd.cn http://www.morning.mkpkz.cn.gov.cn.mkpkz.cn http://www.morning.wcyr.cn.gov.cn.wcyr.cn http://www.morning.wnhml.cn.gov.cn.wnhml.cn http://www.morning.zlnf.cn.gov.cn.zlnf.cn http://www.morning.mngyb.cn.gov.cn.mngyb.cn
