微信网站 微信支付,高端网站建设论坛,有没有免费的推广平台,四川建筑资质证书查询一、机器学习介绍与定义
1.1 机器学习定义 机器学习#xff08;Machine Learning#xff09;是让计算机从数据中自动学习规律#xff0c;并依据这些规律对未来数据进行预测的技术。它涵盖聚类、分类、决策树、贝叶斯、神经网络、深度学习#xff08;Deep Learning#xf…一、机器学习介绍与定义
1.1 机器学习定义 机器学习Machine Learning是让计算机从数据中自动学习规律并依据这些规律对未来数据进行预测的技术。它涵盖聚类、分类、决策树、贝叶斯、神经网络、深度学习Deep Learning等多种算法 基本思路是模拟人类学习行为通过经验归纳总结规律来预测未来。
1.2 机器学习的发展历史 机器学习的发展历程丰富且具有标志性 萌芽发展期20 世纪 50 年代图灵测试提出塞缪尔开发西洋跳棋程序标志着机器学习进入发展阶段。发展停滞期20 世纪 60 - 70 年代发展几乎停滞。复兴时期20 世纪 80 年代神经网络反向传播BP算法训练的多参数线性规划MLP理念提出使机器学习复兴。数据驱动转变期20 世纪 90 年代“决策树”ID3 算法和支持向量机SVM算法出现机器学习从知识驱动转变为数据驱动。蓬勃发展期21 世纪初至今Hinton 提出深度学习随着算力提升和海量训练样本支持深度学习成为研究热点并广泛应用。
1.3 机器学习分类 机器学习按学习模式可分为以下几类 监督学习Supervised Learning从有标签的训练数据中学习模型用于预测新数据标签主要用于回归和分类。如预测房价回归和判断邮件是否为垃圾邮件分类。常见算法包括线性回归、朴素贝叶斯等。半监督学习Semi - Supervised Learning利用少量标注数据和大量无标注数据学习侧重于在有监督分类算法中加入无标记样本实现半监督分类。例如在图像分类中利用少量标注图像和大量未标注图像训练模型。常见算法有 Pseudo - Label、Π - Model 等。无监督学习Unsupervised Learning从未标注数据中寻找隐含结构主要用于关联分析、聚类和降维。比如对客户进行聚类分析找出不同客户群体特征。常见算法有稀疏自编码、主成分分析等。强化学习Reinforcement Learning通过不断试错学习有智能体和环境两个交互对象以及策略、回报函数、价值函数和环境模型可选四个核心要素。常用于机器人避障、棋牌类游戏等。如 AlphaGo 通过强化学习在围棋领域取得卓越成绩。
1.4 机器学习需要具备的基础的知识如何学习机器学习 学习机器学习需具备线性代数、微积分、概率和统计等数学知识以及编程基础。学习建议如下 数学基础掌握线性代数、概率论和统计学概念理解算法原理。编程语言熟练掌握 Python 或 R 语言它们有丰富的机器学习库和工具。机器学习算法了解常见算法原理、应用和优缺点。机器学习工具和框架熟悉 scikit - learn、TensorFlow、PyTorch 等工具和框架。实践项目通过小型项目提升实践能力如利用鸢尾花数据集进行分类预测。学习资源利用 Coursera、Kaggle、GitHub 等平台的学习资源。参与机器学习社区与他人交流经验参加线下活动。持续学习和实践机器学习不断发展需持续关注研究成果参与竞赛和项目。
1.5 机器学习的应用场合 机器学习应用广泛涵盖多个行业领域 自然语言处理NLP实现语音识别、文本分析、情感分析等用于智能客服、聊天机器人等。如智能音箱通过语音识别和自然语言处理理解用户指令。医疗诊断与影像分析分析医疗图像、预测疾病、辅助药物发现。例如利用深度学习模型诊断医学影像中的疾病。金融风险管理分析金融数据预测市场波动性、信用风险等。银行利用机器学习模型评估客户信用风险。预测与推荐系统进行销售预测、个性化推荐。电商平台根据用户购买历史推荐商品。制造业和物联网处理传感器数据实现设备预测性维护和质量控制。工厂利用机器学习预测设备故障提前维护。能源管理与环境保护优化能源管理提高能源利用效率。通过分析能源数据制定节能策略。决策支持与智能分析分析大量数据辅助决策制定。企业利用机器学习分析市场数据制定营销策略。图像识别与计算机视觉实现图像分类、目标检测等。安防系统利用图像识别技术识别人员身份。
1.6 机器学习趋势分析 机器学习热点研究包括深度神经网络、强化学习、卷积神经网络、循环神经网络等。以深度神经网络、强化学习为代表的深度学习技术研究热度持续上升是当前研究热点。
1.7 机器学习项目开发步骤 机器学习项目开发通常包含以下 5 个基本步骤 收集数据收集原始数据数据种类、密度和数量越多学习效果越好。如收集电商用户购买数据。准备数据确定数据质量处理缺失数据和异常值进行探索性分析。例如对收集的用户购买数据进行清洗和预处理。训练模型选择合适算法和数据表示形式将清理后的数据分为训练集和测试集用训练集开发模型。以房价预测为例选择线性回归算法用部分数据训练模型。评估模型使用测试集评估模型准确性查看模型在未使用数据上的性能。如用测试集数据评估房价预测模型的准确性。提高性能选择不同模型或引入更多变量提高效率。若房价预测模型准确性不高尝试其他算法或增加更多特征。
二、scikit - learn 工具介绍
2.1 Python 语言机器学习工具 scikit - learn 是 Python 语言的机器学习工具包含许多智能的机器学习算法实现文档完善上手容易拥有丰富的 API 接口函数。
2.2 官网及文档 官网https://scikit - learn.org/stable/#中文文档sklearn中文社区https://scikit - learn.org.cn/
2.3 scikit - learn 安装 使用 pip 安装 收起
bash
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple scikit - learn2.4 Scikit - learn 包含的内容 scikit - learn 包含分类、回归、聚类、降维、模型选择、预处理等内容为机器学习提供全面支持。
三、数据集重点
3.1 sklearn 玩具数据集介绍 数据量小存储在 sklearn 库本地安装 sklearn 后无需联网即可获取如鸢尾花数据集。
3.2 sklearn 现实世界数据集介绍 数据量大需通过网络获取如 20 分类新闻数据集。
3.3 sklearn 加载玩具数据集 以鸢尾花数据集为例 收起
python
from sklearn.datasets import load_iris
iris load_iris() # 加载鸢尾花数据集鸢尾花数据集特征包括花萼长、花萼宽、花瓣长、花瓣宽为三分类数据集0 - Setosa 山鸢尾 、1 - versicolor 变色鸢尾 、2 - Virginica 维吉尼亚鸢尾。iris 对象重要属性有 收起
python
# data 特征
# feature_names 特征描述
# target 目标
# target_names 目标描述
# DESCR 数据集的描述
# filename 下载到本地保存后的文件名使用 pandas 展示特征和目标 收起
python
import pandas as pd
import numpy as np
from sklearn.datasets import load_iris
iris load_iris()
feature iris.data
target iris.target
target.shape (len(target), 1)
data np.hstack([feature, target])
cols iris.feature_names
cols.append(target)
pd.DataFrame(data, columnscols)3.4 sklearn 获取现实世界数据集 以获取 20 分类新闻数据为例 收起
python
from sklearn.datasets import fetch_20newsgroups
news fetch_20newsgroups(data_homeNone, subsetall)参数说明 data_home默认 None下载路径为 “C:/Users/ADMIN/scikit_learn_data/20news - bydate_py3.pkz”也可自定义路径。subset“train” 只下载训练集“test” 只下载测试集“all” 下载训练集和测试集。return_X_y默认 False为 True 时返回值为元组包含特征数据集和目标数据集。 返回值说明 return_X_y 为 False 时返回 Bunch 对象包含 data特征数据集、target目标数据集、target_names目标描述、filenames新闻数据位置路径。return_X_y 为 True 时返回元组包含特征数据集和目标数据集。
3.5 本地 csv 数据
3.5.1 创建 csv 文件 方式 1使用记事本编写数据数据间用英文逗号分隔保存后将后缀名改为 csv。方式 2创建 excel 文件填写数据以 csv 为后缀保存。
3.5.2 pandas 加载 csv 收起
python
import pandas as pd
pd.read_csv(./src/ss.csv)3.6 数据集的划分重点
3.6.1 函数 收起
python
sklearn.model_selection.train_test_split(*arrays**options)参数 *array接收 1 到多个 “列表、numpy 数组、稀疏矩阵或 padas 中的 DataFrame”。**options test_size0.0 到 1.0 的小数表示划分后测试集占比。random_state任意整数作为随机种子相同随机种子对相同数据集多次划分结果相同。stratify分层划分填写 y。 返回值说明返回列表长度与形参 array 接收的参数数量相关对应划分出的两部分数据类型与 array 接收的类型相同。
3.6.2 示例 列表数据集划分 收起
python
from sklearn.model_selection import train_test_split
data1 [1, 2, 3, 4, 5]
data2 [1a, 2a, 3a, 4a, 5a]
a, b train_test_split(data1, test_size0.4, random_state22)
print(a, b)
a, b train_test_split(data2, test_size0.4, random_state22)
print(a, b)
a, b, c, d train_test_split(data1, data2, test_size0.4, random_state22)
print(a, b, c, d)ndarray 数据集划分 收起
python
from sklearn.model_selection import train_test_split
import numpy as np
data1 [1, 2, 3, 4, 5]
data2 np.array([1a, 2a, 3a, 4a, 5a])
a, b, c, d train_test_split(data1, data2, test_size0.4, random_state22)
print(a, b, c, d)
print(type(a), type(b), type(c), type(d))二维数组数据集划分 收起
python
from sklearn.model_selection import train_test_split
import numpy as np
data1 np.arange(1, 16, 1)
data1.shape (5, 3)
print(data1)
a, b train_test_split(data1, test_size0.4, random_state22)
print(a\n, a)
print(b\n, b)DataFrame 数据集划分 收起
python
from sklearn.model_selection import train_test_split
import numpy as np
import pandas as pd
data1 np.arange(1, 16, 1)
data1.shape (5, 3)
data1 pd.DataFrame(data1, index[1, 2, 3, 4, 5], columns[one, two, three])
print(data1)
a, b train_test_split(data1, test_size0.4, random_state22)
print(\n, a)
print(\n, b)字典数据集划分 收起
python
from sklearn.feature_extraction import DictVectorizer
from sklearn.model_selection import train_test_split
data [{city: 成都, age: 30, temperature: 20},{city: 重庆, age: 33, temperature: 60},{city: 北京, age: 42, temperature: 80},{city: 上海, age: 22, temperature: 70},{city: 成都, age: 72, temperature: 40},]
transfer DictVectorizer(sparseTrue)
data_new transfer.fit_transform(data)
a, b train_test_split(data_new, test_size0.4, random_state22)
print(a)
print(\n, b)鸢尾花数据集划分 收起
python
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
iris load_iris()
list train_test_split(iris.data, iris.target, test_size0.2, random_state22)
x_train, x_test, y_train, y_test list
print(x_train.shape, x_test.shape, y_train.shape, y_test.shape)现实世界数据集划分 收起
python
from sklearn.datasets import fetch_20newsgroups
from sklearn.model_selection import train_test_split
news fetch_20newsgroups(data_homeNone, subsetall)
list train_test_split(news.data, news.target, test_size0.2, random_state22)
x_train, x_test, y_train, y_test list
print(len(x_train), len(x_test), y_train.shape, y_test.shape) 文章转载自： http://www.morning.brjq.cn.gov.cn.brjq.cn http://www.morning.mzzqs.cn.gov.cn.mzzqs.cn http://www.morning.wqrdx.cn.gov.cn.wqrdx.cn http://www.morning.mwzt.cn.gov.cn.mwzt.cn http://www.morning.rnyhx.cn.gov.cn.rnyhx.cn http://www.morning.mytmn.cn.gov.cn.mytmn.cn http://www.morning.reababy.com.gov.cn.reababy.com http://www.morning.srbfz.cn.gov.cn.srbfz.cn http://www.morning.httpm.cn.gov.cn.httpm.cn http://www.morning.pjyrl.cn.gov.cn.pjyrl.cn http://www.morning.tcfhs.cn.gov.cn.tcfhs.cn http://www.morning.mcfjq.cn.gov.cn.mcfjq.cn http://www.morning.mlmwl.cn.gov.cn.mlmwl.cn http://www.morning.tldhq.cn.gov.cn.tldhq.cn http://www.morning.rbzht.cn.gov.cn.rbzht.cn http://www.morning.nkiqixr.cn.gov.cn.nkiqixr.cn http://www.morning.frmmp.cn.gov.cn.frmmp.cn http://www.morning.gwyml.cn.gov.cn.gwyml.cn http://www.morning.dyght.cn.gov.cn.dyght.cn http://www.morning.bsqth.cn.gov.cn.bsqth.cn http://www.morning.hcsqznn.cn.gov.cn.hcsqznn.cn http://www.morning.gyzfp.cn.gov.cn.gyzfp.cn http://www.morning.bgqr.cn.gov.cn.bgqr.cn http://www.morning.dmzfz.cn.gov.cn.dmzfz.cn http://www.morning.wnnfh.cn.gov.cn.wnnfh.cn http://www.morning.llfwg.cn.gov.cn.llfwg.cn http://www.morning.jkszt.cn.gov.cn.jkszt.cn http://www.morning.hlfnh.cn.gov.cn.hlfnh.cn http://www.morning.bsrp.cn.gov.cn.bsrp.cn http://www.morning.wphzr.cn.gov.cn.wphzr.cn http://www.morning.rybr.cn.gov.cn.rybr.cn http://www.morning.wglhz.cn.gov.cn.wglhz.cn http://www.morning.ylyzk.cn.gov.cn.ylyzk.cn http://www.morning.hfrbt.cn.gov.cn.hfrbt.cn http://www.morning.xkyfq.cn.gov.cn.xkyfq.cn http://www.morning.smzr.cn.gov.cn.smzr.cn http://www.morning.tssmk.cn.gov.cn.tssmk.cn http://www.morning.lcbnb.cn.gov.cn.lcbnb.cn http://www.morning.gjqnn.cn.gov.cn.gjqnn.cn http://www.morning.bpmdr.cn.gov.cn.bpmdr.cn http://www.morning.lxthr.cn.gov.cn.lxthr.cn http://www.morning.wztlr.cn.gov.cn.wztlr.cn http://www.morning.fchkc.cn.gov.cn.fchkc.cn http://www.morning.wdwfm.cn.gov.cn.wdwfm.cn http://www.morning.hprmg.cn.gov.cn.hprmg.cn http://www.morning.qgzmz.cn.gov.cn.qgzmz.cn http://www.morning.hdscx.cn.gov.cn.hdscx.cn http://www.morning.dzqr.cn.gov.cn.dzqr.cn http://www.morning.kfyjh.cn.gov.cn.kfyjh.cn http://www.morning.bpxmw.cn.gov.cn.bpxmw.cn http://www.morning.drmbh.cn.gov.cn.drmbh.cn http://www.morning.wsxly.cn.gov.cn.wsxly.cn http://www.morning.nlcw.cn.gov.cn.nlcw.cn http://www.morning.xbrxk.cn.gov.cn.xbrxk.cn http://www.morning.qjlnh.cn.gov.cn.qjlnh.cn http://www.morning.sbpt.cn.gov.cn.sbpt.cn http://www.morning.cfjyr.cn.gov.cn.cfjyr.cn http://www.morning.hlnys.cn.gov.cn.hlnys.cn http://www.morning.pbmkh.cn.gov.cn.pbmkh.cn http://www.morning.fbjnr.cn.gov.cn.fbjnr.cn http://www.morning.gswfs.cn.gov.cn.gswfs.cn http://www.morning.lgwpm.cn.gov.cn.lgwpm.cn http://www.morning.lkjzz.cn.gov.cn.lkjzz.cn http://www.morning.gcfrt.cn.gov.cn.gcfrt.cn http://www.morning.kzcfr.cn.gov.cn.kzcfr.cn http://www.morning.fhwfk.cn.gov.cn.fhwfk.cn http://www.morning.dqpnd.cn.gov.cn.dqpnd.cn http://www.morning.mrbzq.cn.gov.cn.mrbzq.cn http://www.morning.addai.cn.gov.cn.addai.cn http://www.morning.kpzbf.cn.gov.cn.kpzbf.cn http://www.morning.rlkgc.cn.gov.cn.rlkgc.cn http://www.morning.lzsxp.cn.gov.cn.lzsxp.cn http://www.morning.routalr.cn.gov.cn.routalr.cn http://www.morning.bbmx.cn.gov.cn.bbmx.cn http://www.morning.ntzfl.cn.gov.cn.ntzfl.cn http://www.morning.bmmhs.cn.gov.cn.bmmhs.cn http://www.morning.bby45.cn.gov.cn.bby45.cn http://www.morning.wgqtt.cn.gov.cn.wgqtt.cn http://www.morning.wjxtq.cn.gov.cn.wjxtq.cn http://www.morning.stprd.cn.gov.cn.stprd.cn
