免费养殖网站模板,银川网站建设推广,自己做简单会员管理系统,个人简历表格电子版下载- 缺失值处理 1. 识别缺失值 在处理缺失值之前#xff0c;首先需要识别数据中的缺失值。 1.1 使用 isna() 和 isnull() Pandas 提供了 isna() 和 isnull() 方法来检测缺失值#xff0c;二者功能相同。 import pandas as pddf pd.DataFrame({A: [1, 2, None, 4],B: [None, 2,…- 缺失值处理 1. 识别缺失值 在处理缺失值之前首先需要识别数据中的缺失值。 1.1 使用 isna() 和 isnull() Pandas 提供了 isna() 和 isnull() 方法来检测缺失值二者功能相同。 import pandas as pddf pd.DataFrame({A: [1, 2, None, 4],B: [None, 2, 3, 4],C: [1, None, None, 4]
})# 检测缺失值
print(df.isna())1.2 汇总缺失值 使用 sum() 可以汇总缺失值的数量。 # 每列缺失值的数量
print(df.isna().sum())# 每行缺失值的数量
print(df.isna().sum(axis1))2. 删除缺失值 有时删除缺失值是最佳选择特别是当缺失值较多或数据无用时。 2.1 删除包含缺失值的行 使用 dropna() 删除包含缺失值的行。 df_cleaned df.dropna()
print(df_cleaned)2.2 删除包含缺失值的列 通过设置 axis1可以删除包含缺失值的列。 df_cleaned df.dropna(axis1)
print(df_cleaned)2.3 根据特定条件删除缺失值 使用 thresh 参数可以保留至少有指定数量非缺失值的行或列。 df_cleaned df.dropna(thresh2)
print(df_cleaned)3. 填充缺失值 填充缺失值是一种常用的策略特别是在不能删除数据的情况下。 3.1 使用固定值填充 使用 fillna() 方法可以用指定的值填充缺失值。 df_filled df.fillna(0)
print(df_filled)3.2 使用前向或后向填充 使用 method 参数选择前向填充ffill或后向填充bfill。 # 前向填充
df_filled df.fillna(methodffill)
print(df_filled)# 后向填充
df_filled df.fillna(methodbfill)
print(df_filled)3.3 使用均值、中位数或众数填充 可以根据列的统计值进行填充如均值、中位数或众数。 # 用列的平均值填充
df_filled df.fillna(df.mean())
print(df_filled)# 用列的中位数填充
df_filled df.fillna(df.median())
print(df_filled)# 用列的众数填充
df_filled df.fillna(df.mode().iloc[0])
print(df_filled)4. 替换特定值 有些数据集中缺失值可能被标记为特定的值如 -999。可以将这些值替换为 NaN。 df_replaced df.replace(-999, pd.NA)5. 插值法填充缺失值 插值法通过已有数据来估算未知数据点。 5.1 线性插值 Pandas 提供 interpolate() 方法进行插值填充。 df_interpolated df.interpolate(methodlinear)
print(df_interpolated)5.2 时间序列插值 如果数据是时间序列可以使用 time 方法进行插值。 df_time_interpolated df.interpolate(methodtime)
print(df_time_interpolated)6. 拉格朗日插值法填充缺失值 拉格朗日插值法基于所有数据点构建多项式从而估算缺失值。 6.1 拉格朗日插值法的基本概念 拉格朗日插值多项式 L(x)L(x)L(x) 通过构造基函数 li(x)l_i(x)li(x) 并将其线性组合来估算缺失值。 6.2 拉格朗日插值法的 Python 实现 import pandas as pd
from scipy.interpolate import lagrange
import numpy as np# 读取Excel文件
df pd.read_excel(data.xlsx)# 假设你的数据在以下列中
x_column X # X轴的列名
y_column Y # Y轴的列名# 提取非缺失值的部分进行插值
x df[x_column].dropna().values
y df[y_column].dropna().values# 创建拉格朗日插值多项式
poly lagrange(x, y)# 查找缺失值所在的行并填充
missing_rows df[df[y_column].isna()].index
for i in missing_rows:x_missing df.at[i, x_column]y_missing poly(x_missing)df.at[i, y_column] y_missing# 打印填充后的DataFrame
print(df)# 保存填充后的数据到Excel文件
df.to_excel(filled_data.xlsx, indexFalse) 7. 牛顿插值法填充缺失值 牛顿插值法使用差商表构建插值多项式适合逐步添加数据点的情况。 7.1 牛顿插值法的基本概念 牛顿插值通过构造差商表并逐步构建多项式进行插值。 7.2 牛顿插值法的 Python 实现 import pandas as pd
import numpy as np# 读取Excel文件
df pd.read_excel(data.xlsx)# 假设你的数据在以下列中
x_column X # X轴的列名
y_column Y # Y轴的列名# 提取非缺失值部分进行插值
x df[x_column].dropna().values
y df[y_column].dropna().values# 计算差商表
def divided_diff(x, y):n len(y)coef np.zeros([n, n])coef[:, 0] yfor j in range(1, n):for i in range(n - j):coef[i][j] (coef[i 1][j - 1] - coef[i][j - 1]) / (x[i j] - x[i])return coef[0, :] # 返回差商表的第一行# 计算牛顿插值多项式
def newton_poly(coef, x_data, x):n len(coef) - 1p coef[n]for k in range(1, n 1):p coef[n - k] (x - x_data[n - k]) * preturn p# 计算差商表的系数
coef divided_diff(x, y)# 查找缺失值所在的行并填充
missing_rows df[df[y_column].isna()].index
for i in missing_rows:x_missing df.at[i, x_column]y_missing newton_poly(coef, x, x_missing)df.at[i, y_column] y_missing# 打印填充后的DataFrame
print(df)# 保存填充后的数据到Excel文件
df.to_excel(filled_data_newton.xlsx, indexFalse) 8. 检查和处理重复值 处理缺失值后检查并处理数据中的重复值同样重要。 8.1 检查重复值 使用 duplicated() 方法检查重复行。 print(df.duplicated())8.2 删除重复值 使用 drop_duplicates() 方法删除重复行。 df_no_duplicates df.drop_duplicates()
print(df_no_duplicates)9. 高级操作条件填充和分组处理 9.1 根据条件填充缺失值 有时需要根据其他列的条件填充缺失值。 df[C] df[C].fillna(df[A] df[B])9.2 分组填充 可以对数据进行分组然后对每个组分别填充缺失值。 df[C] df.groupby(A)[C].transform(lambda x: x.fillna(x.mean()))
