湛江模板建站系统,淘宝上面如何做网站,百度收录最新方法,扩展名网站目录 一、安装所需的python包二、采用K-NN算法进行缺失值填充2.1代码#xff08;完整代码关注底部微信公众号获取#xff09;2.2以某个缺失值数据进行实战2.2.1代码运行过程截屏#xff1a;2.2.2填充后的数据截屏#xff1a; 三、K 近邻算法 (K-Nearest Neighbors, KNN) 介… 目录 一、安装所需的python包二、采用K-NN算法进行缺失值填充2.1代码完整代码关注底部微信公众号获取2.2以某个缺失值数据进行实战2.2.1代码运行过程截屏2.2.2填充后的数据截屏 三、K 近邻算法 (K-Nearest Neighbors, KNN) 介绍3.1 K 近邻算法定义3.2 K 近邻算法的基本思想3.3 K 近邻算法的步骤3.4 K 近邻算法的距离度量3.5 K 近邻算法的优缺点3.5.1 优点3.5.2 缺点 3.6 K 近邻算法的应用场景3.7 K 近邻算法的改进方法 感觉大家对原理性的东西不太感兴趣那我就直接举例提供代码以及详细的注释大家自己对照改代码应用于你自己建立的模型吧。 完整代码关注博客底部微信公众号获得 这些代码全部是我自己做数模竞赛时候自己用的代码。可以直接运行记得修改文件路径。 一、安装所需的python包
pip install pandas scikit-learn scipy numpy joblib二、采用K-NN算法进行缺失值填充 注意代码需要把自己的数据文件格式转换为CSV文件并且把路径修改为自己文件所在的路径不会转换的参考我此教程文件格式转换EXCEL和CSV文件格式互相转换。 我知道大家对原理性的东西不感兴趣我把他的原理介绍放在文末需要写论文的同学自己拿去用记得修改否则查重率过不去。 2.1代码完整代码关注底部微信公众号获取 K-NN
1.**K-最近邻 (K-Nearest Neighbors, K-NN)**: K-NN是一种
基于实例的学习或是局部而似和将所有计算推识到分类之
后的情性学习。整个训练数据集都存储在横型中。K-NN算
法比其他技术更适合用于多类目分类问题如果你对填补缺
失值的速度和精度的平衡感兴趣这是一个不错的选择。这个的效果比牛顿插值法差一点而那些训练模型的那个可能是因为数据量太少效果差这是我的一点经验。
import pandas as pd
from sklearn.experimental import enable_iterative_imputer
from sklearn.impute import IterativeImputer
from sklearn.impute import KNNImputer
from scipy.interpolate import interp1d
import numpy as np
import joblib# 读取数据请将缺失值填充.csv替换为你的真实数据文件名
filename 缺失值填充.csv
data pd.read_csv(filename, encodinggbk)# 输出处理后的数据
print(original_data)
original_data.to_csv(knn填充.csv, indexFalse)2.2以某个缺失值数据进行实战 注意数据量较少由自己构建均有规律 如下图 构造缺失值如下图 运行代码查看填充后的数据怎么样 运行代码如下图填充后的截图 2.2.1代码运行过程截屏 2.2.2填充后的数据截屏 说明估计是数据量太小或者缺失值太多导致填充的效果一般对于这种规律的数据使用牛顿插值法倒是挺不错的数据量大的可以使用神经网络遗传算法来进行缺失值填充下面我都会介绍但是你在进行数模比赛时候需要说明为什么你要选用knn算法说明他的原理即可不必纠结填充的数据是否正确因为你本身也不知道数据的正确性。 接下来我将分享其他我参加数模时候常用的几种数据填充的代码都是我自己调试跑通过的大家直接复制粘贴使用。 三、K 近邻算法 (K-Nearest Neighbors, KNN) 介绍
3.1 K 近邻算法定义
K 近邻算法 (K-Nearest Neighbors, KNN) 是一种基本的监督学习算法主要用于分类和回归问题。KNN 算法基于“相似的输入具有相似的输出”这一假设通过计算给定数据点与训练数据集中其他点的距离找出与其最接近的 K 个邻居然后根据这些邻居的类别或数值进行预测。KNN 算法的核心思想是相似的样本往往具有相似的输出。
3.2 K 近邻算法的基本思想
KNN 算法没有显式的学习过程也不需要构建显式的模型它属于 惰性学习算法。KNN 的主要步骤如下
计算距离对于一个需要分类或回归的数据点计算它与训练集中每个数据点的距离。常用的距离度量方法包括欧几里得距离、曼哈顿距离和闵可夫斯基距离等。选择最近的 K 个邻居根据计算出的距离选择距离最小的 K 个邻居。投票或平均 分类问题在分类问题中KNN 算法根据 K 个邻居中出现次数最多的类别进行投票决定待预测点的类别。回归问题在回归问题中KNN 算法通过 K 个邻居的数值平均来预测待预测点的值。
3.3 K 近邻算法的步骤
选择参数 K 的值决定选择多少个邻居参与投票或计算平均值。计算距离对于待分类或回归的样本计算它与训练数据集中每个样本的距离。选择最近的 K 个邻居根据距离对训练数据进行排序选取距离最近的 K 个样本。进行分类或回归 分类在 K 个邻居中选择出现次数最多的类别作为预测结果。回归在 K 个邻居中取目标值的平均值作为预测结果。
3.4 K 近邻算法的距离度量
常用的距离度量方法有 欧几里得距离 (Euclidean Distance) d ( x , y ) ∑ i 1 n ( x i − y i ) 2 d(x, y) \sqrt{\sum_{i1}^n (x_i - y_i)^2} d(x,y)i1∑n(xi−yi)2 曼哈顿距离 (Manhattan Distance) d ( x , y ) ∑ i 1 n ∣ x i − y i ∣ d(x, y) \sum_{i1}^n |x_i - y_i| d(x,y)i1∑n∣xi−yi∣ 闵可夫斯基距离 (Minkowski Distance) d ( x , y ) ( ∑ i 1 n ∣ x i − y i ∣ p ) 1 / p d(x, y) \left( \sum_{i1}^n |x_i - y_i|^p \right)^{1/p} d(x,y)(i1∑n∣xi−yi∣p)1/p
3.5 K 近邻算法的优缺点
3.5.1 优点
简单易懂KNN 算法简单直观易于理解和实现。无需训练由于 KNN 是惰性学习算法它不需要显式的训练过程计算开销集中在预测阶段。可用于分类和回归KNN 算法既可以用于分类问题也可以用于回归问题。
3.5.2 缺点
计算复杂度高对于大数据集计算待预测点与所有训练数据点的距离需要大量的计算资源。内存开销大需要存储所有的训练数据在内存有限的情况下处理大规模数据可能存在困难。对不相关特征敏感KNN 算法对数据中的不相关特征和噪声比较敏感需要进行特征选择和数据预处理。参数选择困难选择合适的 K 值是一个挑战K 值过小容易导致过拟合K 值过大容易导致欠拟合。
3.6 K 近邻算法的应用场景
KNN 算法广泛应用于以下场景
分类问题例如文本分类、图像分类、用户行为分类等。回归问题例如预测房价、预测股票价格等。异常检测例如检测信用卡欺诈、网络入侵检测等。推荐系统例如电影推荐、商品推荐等。
3.7 K 近邻算法的改进方法
归一化或标准化数据由于 KNN 算法对特征的尺度非常敏感通常需要对数据进行归一化或标准化处理。使用加权 KNN在基本的 KNN 中所有邻居的权重相同可以改进为对距离更近的邻居赋予更大的权重以提高算法的准确性。使用降维方法可以使用 PCA主成分分析或其他降维方法减少特征维数以减少计算量和内存使用。
