您当前的位置:首页 > 电脑百科 > 程序开发 > 语言 > Python

如何用 Python 清洗数据?

时间:2020-07-09 15:30:00  来源:  作者:
如何用 Python 清洗数据?

 

0. 序言

在做数据分析之前,我们首先要明确数据分析的目标,然后 应用数据分析的思维,对目标进行细分,再采取相应的行动。

我们可以把数据分析细分为以下 8 个步骤:

(1)读取

(2) 清洗

(3) 操作

(4) 转换

(5) 整理

(6) 分析

(7) 展现

(8)报告

在《 如何用 Python 读取数据? 》这篇文章中,我们学习了从 5 种不同的地方读取数据的方法,接下来,我们将利用其中的一种方法, 从 Excel 文件中读取原始数据,然后利 用 Python 对它进行清洗。

下面我们用一副待清洗的扑克牌作为示例,假设它保存在代码文件相同的目录下,在 Jupyter Lab 环境中运行以下代码:

import numpy as np
import pandas as pd

# 设置最多显示 10 行
pd.set_option('max_rows', 10)

# 从 Excel 文件中读取原始数据
df = pd.read_excel(
    '待清洗的扑克牌数据集.xlsx'
)

df

返回结果如下:

如何用 Python 清洗数据?

 

这幅待清洗的扑克牌数据集,有一些异常情况,包括:大小王的花色是缺失的,有两张重复的黑桃:spades: A,还有一张异常的 黑桃 :spades: 30。

1. 如何查找异常?

在正式开始清洗数据之前,往往需要先把异常数据找出来,观察异常数据的特征,然后再决定清洗的方法。

# 查找「花色」缺失的行
df[df.花色.isnull()]
如何用 Python 清洗数据?

 

# 查找完全重复的行
df[df.duplicated()]
如何用 Python 清洗数据?

 

# 查找某一列重复的行
df[df.编号.duplicated()]
如何用 Python 清洗数据?

 

# 查找牌面的所有唯一值
df.牌面.unique()

返回结果:

array(['大王', '小王', 'A', '30', 4, 5, 6, 7, 8, 9, 10, 'J', 'Q', 'K', 2, 3], dtype=object)

根据常识可以判断,牌面为 30 的是异常值。

# 查找「牌面」包含 30 的异常值
df[df.牌面.isin(['30'])]
如何用 Python 清洗数据?

 

# 查找王牌,模糊匹配
df[df.牌面.str.contains(
    '王', na=False
)]
如何用 Python 清洗数据?

 

# 查找编号在 1 到 5 之间的行
df[df.编号.between(1, 5)]
如何用 Python 清洗数据?

 

查找某个区间,也可以用逻辑运算的方法来实现:

# 查找编号在 1 到 5 之间的行
df[(df.编号 >= 1)
   & (df.编号 <= 5)]

其中「 & 」代表必须同时满足两边的条件,也就是「且」的意思。

还可以用下面等价的方法:

# 查找编号在 1 到 5 之间的行
df[~((df.编号 < 1)
     | (df.编号 > 5))]

其中「 | 」代表两边的条件满足一个即可,也就是「或」的意思,「 ~ 」代表取反,也就是「非」的意思。

2. 如何排除重复?

使用 drop_duplicates() 函数,在排除重复之后,会得到一个新的数据框。

# 排除完全重复的行,默认保留第一行
df.drop_duplicates()

返回结果如下:

如何用 Python 清洗数据?

 

如果想要改变原来的数据框,有两种方法,一种方法,是增加 inplace 参数:

# 排除重复后直接替换原来的数据框
df.drop_duplicates(
    inplace=True
)

另一种方法,是把得到的结果,重新赋值给原来的数据框:

# 排除重复后,重新赋值给原来的数据框
df = df.drop_duplicates()

如果想要按某一列排除重复的数据,那么指定相应的列名即可。

# 按某一列排除重复,默认保留第一行
df.drop_duplicates(['花色'])
如何用 Python 清洗数据?

 

如果想要保留重复的最后一行,那么需要指定 keep 参数。

# 按某一列排除重复,并保留最后一行
df.drop_duplicates(
    ['花色'], keep='last'
)
如何用 Python 清洗数据?

 

从上面两个返回结果的编号可以看出,不同方法的差异情况。

3. 如何删除缺失?

使用 dropna() 函数,默认删除包含缺失的行。为了更加简单易懂,我们用扑克牌中不重复的花色作为示例。

# 不重复的花色
color = df.drop_duplicates(
    ['花色']
)

color
如何用 Python 清洗数据?

 

# 删除包含缺失值的行
color.dropna()
如何用 Python 清洗数据?

 

如果想要删除整行全部为空的行,那么需要指定 how 参数。

# 删除全部为空的行
color.dropna(how='all')
如何用 Python 清洗数据?

 

如果想要删除包含缺失值的列,那么需要指定 axis 参数。

# 删除包含缺失值的列
color.dropna(axis=1)
如何用 Python 清洗数据?

 

可以看到,包含缺失值的「花色」这一列被删除了。

4. 如何补全缺失?

使用 fillna() 函数,可以将缺失值填充为我们指定的值。

# 补全缺失值
color.fillna('Joker')
如何用 Python 清洗数据?

 

可以看到,原来的 NaN 被填充为 Joker,在实际工作的应用中,通常填充为 0,也就是说, fillna(0) 是比较常见的用法。

如果想要使用临近的值来填充,那么需要指定 method 参数,例如:

# 用后面的值填充
color.fillna(method='bfill')
如何用 Python 清洗数据?

 

可以看到,原来第一行的 NaN 替换成了第二行的「黑桃:spades:」。

其中 method 还有一些其他的可选参数,详情可以查看相关的帮助文档。

还有一种按字典填充的方法。为了让下面的演示更加直观易懂,我们先把索引为 2 的牌面设置为缺失值:

# 为了演示,先指定一个缺失值
color.loc[2, '牌面'] = np.nan

color
如何用 Python 清洗数据?

 

# 按列自定义补全缺失值
color.fillna(
    {'花色': 0, '牌面': 1}
)
如何用 Python 清洗数据?

 

可以看出,不同列的缺失值,可以填充为不同的值,花色这一列填充为 0,牌面这一列填充为 1,我在图中分别用红色的方框标记出来了。

5. 应用案例

下面 我们用 Python 代码,把这幅待清洗的扑克牌数据集,变成一副正常的扑克牌数据。

import numpy as np
import pandas as pd

# 设置最多显示 10 行
pd.set_option('max_rows', 10)

# 从 Excel 文件中读取原始数据
df = pd.read_excel(
    '待清洗的扑克牌数据集.xlsx'
)

# 补全缺失值
df = df.fillna('Joker')

# 排除重复值
df = df.drop_duplicates()

# 修改异常值
df.loc[4, '牌面'] = 3

# 增加一张缺少的牌
df = df.Append(
    {'编号': 4,
     '花色': '黑桃♠',
     '牌面': 2},
    ignore_index=True
)

# 按编号排序
df = df.sort_values('编号')

# 重置索引
df = df.reset_index()

# 删除多余的列
df = df.drop(
    ['index'], axis=1
)

# 把清洗好的数据保存到 Excel 文件
df.to_excel(
    '完成清洗的扑克牌数据.xlsx',
    index=False
)

df

返回结果如下:

可以看到,我们已经成功地把它变成了一副正常的扑克牌数据。

6. 小结

我们简单回顾一下本文的主要内容,首先,我们从宏观层面介绍了数据分析的 8 个步骤,然后用一副待清洗的扑克牌数据集作为示例,从读取数据,到查找异常,再到排除重复、删除缺失和补全缺失,最后,我们用一个案例, 完整 演示了清洗数据的过程。

文章作者: 林骥



Tags:Python 清洗数据   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
0. 序言在做数据分析之前,我们首先要明确数据分析的目标,然后 应用数据分析的思维,对目标进行细分,再采取相应的行动。我们可以把数据分析细分为以下 8 个步骤:(1)读取(2) 清洗(3) 操...【详细内容】
2020-07-09  Tags: Python 清洗数据  点击:(44)  评论:(0)  加入收藏
▌简易百科推荐
大家好,我是菜鸟哥,今天跟大家一起聊一下Python4的话题! 从2020年的1月1号开始,Python官方正式的停止了对于Python2的维护。Python也正式的进入了Python3的时代。而随着时间的...【详细内容】
2021-12-28  菜鸟学python    Tags:Python4   点击:(1)  评论:(0)  加入收藏
学习Python的初衷是因为它的实践的便捷性,几乎计算机上能完成的各种操作都能在Python上找到解决途径。平时工作需要在线学习。而在线学习的复杂性经常让人抓狂。费时费力且效...【详细内容】
2021-12-28  风度翩翩的Python    Tags:Python   点击:(1)  评论:(0)  加入收藏
Python 是一个很棒的语言。它是世界上发展最快的编程语言之一。它一次又一次地证明了在开发人员职位中和跨行业的数据科学职位中的实用性。整个 Python 及其库的生态系统使...【详细内容】
2021-12-27  IT资料库    Tags:Python 库   点击:(2)  评论:(0)  加入收藏
菜单驱动程序简介菜单驱动程序是通过显示选项列表从用户那里获取输入并允许用户从选项列表中选择输入的程序。菜单驱动程序的一个简单示例是 ATM(自动取款机)。在交易的情况下...【详细内容】
2021-12-27  子冉爱python    Tags:Python   点击:(4)  评论:(0)  加入收藏
有不少同学学完Python后仍然很难将其灵活运用。我整理15个Python入门的小程序。在实践中应用Python会有事半功倍的效果。01 实现二元二次函数实现数学里的二元二次函数:f(x,...【详细内容】
2021-12-22  程序汪小成    Tags:Python入门   点击:(32)  评论:(0)  加入收藏
Verilog是由一个个module组成的,下面是其中一个module在网表中的样子,我只需要提取module名字、实例化关系。module rst_filter ( ...); 端口声明... wire定义......【详细内容】
2021-12-22  编程啊青    Tags:Verilog   点击:(8)  评论:(0)  加入收藏
运行环境 如何从 MP4 视频中提取帧 将帧变成 GIF 创建 MP4 到 GIF GUI ...【详细内容】
2021-12-22  修道猿    Tags:Python   点击:(6)  评论:(0)  加入收藏
面向对象:Object Oriented Programming,简称OOP,即面向对象程序设计。类(Class)和对象(Object)类是用来描述具有相同属性和方法对象的集合。对象是类的具体实例。比如,学生都有...【详细内容】
2021-12-22  我头秃了    Tags:python   点击:(9)  评论:(0)  加入收藏
所谓内置函数,就是Python提供的, 可以直接拿来直接用的函数,比如大家熟悉的print,range、input等,也有不是很熟,但是很重要的,如enumerate、zip、join等,Python内置的这些函数非常...【详细内容】
2021-12-21  程序员小新ds    Tags:python初   点击:(5)  评论:(0)  加入收藏
Hi,大家好。我们在接口自动化测试项目中,有时候需要一些加密。今天给大伙介绍Python实现各种 加密 ,接口加解密再也不愁。目录一、项目加解密需求分析六、Python加密库PyCrypto...【详细内容】
2021-12-21  Python可乐    Tags:Python   点击:(8)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条