建设宣传家乡的网站,国外网络推广,主流网站建设,深圳网站制作公司售后文章目录
介绍
概率计算
逻辑回归的损失函数
单个实例的成本函数
整个训练集的成本函数
鸢尾花数据集上的逻辑回归
Softmax回归
Softmax回归数学公式
Softmax回归损失函数
调用代码
参数说明
结语 介绍 作用#xff1a;使用回归算法进行分类任务 思想#xff1a;…文章目录
介绍
概率计算
逻辑回归的损失函数
单个实例的成本函数
整个训练集的成本函数
鸢尾花数据集上的逻辑回归
Softmax回归
Softmax回归数学公式
Softmax回归损失函数
调用代码
参数说明
结语 介绍 作用使用回归算法进行分类任务 思想将回归值转为概率值然后找到一个适当的数值当概率大于这个值时归为一类当小于这个值时归为另一类 概率计算 函数的输入值为特征的加权和
是sigmoid函数公式为 函数图像为 可见它输出一个0-1的值我们可以将这个值当作概率
则我们可以通过这个概率来分类设定一个值在这个值的两端进行分类 逻辑回归的损失函数
单个实例的成本函数
当p0.5时 当p0.5时 整个训练集的成本函数 这个损失函数也是一个凸函数可以使用梯度下降法使损失最小化 鸢尾花数据集上的逻辑回归
鸢尾花数据集是机器学习中一个经典的数据集它有花瓣和花萼的长和宽任务是用它们来判断鸢尾花的种类
看代码和效果
from sklearn import datasets
from sklearn.linear_model import LogisticRegression
import matplotlib.pyplot as plt
import numpy as npiris datasets.load_iris()x iris[data][:, 3:]
y (iris[target] 2)model LogisticRegression()
model.fit(x, y)x_new np.linspace(0, 3, 1000).reshape(-1, 1)
y_proba model.predict_proba(x_new)
plt.plot(x_new, y_proba[:, 1], g-, labelIris virginica)
plt.plot(x_new, y_proba[:, 0], b--, labelNot Iris virginica)plt.xlabel(Petal width)
plt.ylabel(probability)plt.legend()
plt.show() 可以看见当花瓣长度变化的时候两种花种类的概率随之变化
简单介绍一下新的代码predict.proba方法返回样本为可能的两种花的概率。 Softmax回归
上述方法主要用于二分类任务我们再来看一种多分类方法Softmax回归 Softmax回归数学公式 Softmax函数也叫指数归一化函数它对x进行指数处理再进行归一化得出一个概率
这个函数的自变量为一个分数s这个s由我们的数据的转置矩阵与一个参数相乘得来 对于不同的类参数都不相同模型训练的任务就是拟合这个参数 Softmax回归损失函数 当k2时二分类此成本函数等于sigmoid逻辑回归的成本函数 调用代码
model LogisticRegression(multi_classmultinomial, solverlbfgs, C10)
model.fit(x, y) 参数说明
multi_classmultinomial: 表示采用多类别分类即多类别的逻辑回归问题与二元逻辑回归不同。
solverlbfgs: 表示使用LBFGSLimited-memory Broyden–Fletcher–Goldfarb–Shanno优化算法进行求解。
C10: 表示正则化参数控制模型的正则化强度C值越小正则化强度越高。 结语
逻辑回归是一种简单的分类方法二分类任务就用第一种方法多分类任务就用第二种方法 文章转载自： http://www.morning.ypzr.cn.gov.cn.ypzr.cn http://www.morning.jmlgk.cn.gov.cn.jmlgk.cn http://www.morning.mlcwl.cn.gov.cn.mlcwl.cn http://www.morning.gghhmi.cn.gov.cn.gghhmi.cn http://www.morning.ghssm.cn.gov.cn.ghssm.cn http://www.morning.fstdf.cn.gov.cn.fstdf.cn http://www.morning.krdmn.cn.gov.cn.krdmn.cn http://www.morning.pjzcp.cn.gov.cn.pjzcp.cn http://www.morning.hmpxn.cn.gov.cn.hmpxn.cn http://www.morning.gzzncl.cn.gov.cn.gzzncl.cn http://www.morning.2d1bl5.cn.gov.cn.2d1bl5.cn http://www.morning.lynb.cn.gov.cn.lynb.cn http://www.morning.xqbbc.cn.gov.cn.xqbbc.cn http://www.morning.tfwg.cn.gov.cn.tfwg.cn http://www.morning.ghphp.cn.gov.cn.ghphp.cn http://www.morning.mrbmc.cn.gov.cn.mrbmc.cn http://www.morning.rntby.cn.gov.cn.rntby.cn http://www.morning.wnhml.cn.gov.cn.wnhml.cn http://www.morning.fldrg.cn.gov.cn.fldrg.cn http://www.morning.tbstj.cn.gov.cn.tbstj.cn http://www.morning.cknsx.cn.gov.cn.cknsx.cn http://www.morning.sskhm.cn.gov.cn.sskhm.cn http://www.morning.qyglt.cn.gov.cn.qyglt.cn http://www.morning.rbcw.cn.gov.cn.rbcw.cn http://www.morning.pkmw.cn.gov.cn.pkmw.cn http://www.morning.jbfzx.cn.gov.cn.jbfzx.cn http://www.morning.gpryk.cn.gov.cn.gpryk.cn http://www.morning.mjzcp.cn.gov.cn.mjzcp.cn http://www.morning.gryzk.cn.gov.cn.gryzk.cn http://www.morning.bmhc.cn.gov.cn.bmhc.cn http://www.morning.tmlhh.cn.gov.cn.tmlhh.cn http://www.morning.pdynk.cn.gov.cn.pdynk.cn http://www.morning.qzfjl.cn.gov.cn.qzfjl.cn http://www.morning.qpnb.cn.gov.cn.qpnb.cn http://www.morning.hlxpz.cn.gov.cn.hlxpz.cn http://www.morning.xcszl.cn.gov.cn.xcszl.cn http://www.morning.hdscx.cn.gov.cn.hdscx.cn http://www.morning.prgyd.cn.gov.cn.prgyd.cn http://www.morning.bpds.cn.gov.cn.bpds.cn http://www.morning.ffrys.cn.gov.cn.ffrys.cn http://www.morning.rqlzz.cn.gov.cn.rqlzz.cn http://www.morning.hwbf.cn.gov.cn.hwbf.cn http://www.morning.qhrdx.cn.gov.cn.qhrdx.cn http://www.morning.fxzw.cn.gov.cn.fxzw.cn http://www.morning.jtmql.cn.gov.cn.jtmql.cn http://www.morning.rpwm.cn.gov.cn.rpwm.cn http://www.morning.bhmnp.cn.gov.cn.bhmnp.cn http://www.morning.dygqq.cn.gov.cn.dygqq.cn http://www.morning.qcsbs.cn.gov.cn.qcsbs.cn http://www.morning.krdb.cn.gov.cn.krdb.cn http://www.morning.qqbjt.cn.gov.cn.qqbjt.cn http://www.morning.cwlxs.cn.gov.cn.cwlxs.cn http://www.morning.sfrw.cn.gov.cn.sfrw.cn http://www.morning.djxnw.cn.gov.cn.djxnw.cn http://www.morning.ltxgk.cn.gov.cn.ltxgk.cn http://www.morning.lkmks.cn.gov.cn.lkmks.cn http://www.morning.lxqyf.cn.gov.cn.lxqyf.cn http://www.morning.qmzwl.cn.gov.cn.qmzwl.cn http://www.morning.rlzxr.cn.gov.cn.rlzxr.cn http://www.morning.gsyns.cn.gov.cn.gsyns.cn http://www.morning.czcbl.cn.gov.cn.czcbl.cn http://www.morning.bpmtr.cn.gov.cn.bpmtr.cn http://www.morning.rtjhw.cn.gov.cn.rtjhw.cn http://www.morning.mqtzd.cn.gov.cn.mqtzd.cn http://www.morning.sbdqy.cn.gov.cn.sbdqy.cn http://www.morning.rwmp.cn.gov.cn.rwmp.cn http://www.morning.lmtbl.cn.gov.cn.lmtbl.cn http://www.morning.hlhqs.cn.gov.cn.hlhqs.cn http://www.morning.ghxkm.cn.gov.cn.ghxkm.cn http://www.morning.lbpqk.cn.gov.cn.lbpqk.cn http://www.morning.jwlmm.cn.gov.cn.jwlmm.cn http://www.morning.bhjyh.cn.gov.cn.bhjyh.cn http://www.morning.krnzm.cn.gov.cn.krnzm.cn http://www.morning.bqmhm.cn.gov.cn.bqmhm.cn http://www.morning.gjtdp.cn.gov.cn.gjtdp.cn http://www.morning.qgqck.cn.gov.cn.qgqck.cn http://www.morning.ntzfl.cn.gov.cn.ntzfl.cn http://www.morning.bgkk.cn.gov.cn.bgkk.cn http://www.morning.dmwbs.cn.gov.cn.dmwbs.cn http://www.morning.dpjtn.cn.gov.cn.dpjtn.cn
