为了更好地掌握数据科学必备库Pandas的基本使用,本文通过精灵宝可梦的数据集实战,我们一起过一遍Pandas的基本操作,文中的代码都附有注释,并给出了结果的配图。
话不多说,我们开始吧!
import pandas as pd
df=pd.read_csv('pokemon/Pokemon.csv')
df.info() # 数据类型,内存消耗等信息
df.describe() # 统计特征,均值方差等
pd.head(n=5) # 可以添加参数n,表示显示几行
pd.tail()
df.index # 列索引
df.columns # 行索引
df.values # array对象
df.dtypes # 列元素属性
df.drop(['#'],axis=1,inplace=True)
# 删除‘#’列数据,在原DataFrame上改变
df.drop([1,2,3],axis=0)
# 删除行索引为1、2、3的行,不在原DataFrame上改变
df.rename(columns={'Type 1':'Type1','Type 2':'Type2'})
df.columns=df.columns.str.replace(' ','')
df['Defense'].mean() # 所有宝可梦Defense的均值
df['Attack'].argmax() # Attack最高的行索引
df['Sp.Atk'].idxmax() # Sp.Atk最高的行索引
df.sort_values('HP',ascending=False).head(3)
# HP最多的前三条数据
df['Type1'].unique() # Type1一共有哪些种类
df['Type1'].nunique() # Type1一共有几种
df['Type2'].value_counts()
# Type2每种共有多少条
df.isnull().sum().sort_values(ascending=False)
# 将空值判断进行汇总,按从高到低排序
df['Type2'].fillna(value="Unknown",inplace=True)
# 将所有空缺值填为Unknown
df['Type2'].fillna(df['Type1'], inplace=True)
# 将所有Type2空缺值填为其对应Type1的值
df.dropna(how='any')
# 去除所有包含空值的行
df.drop_duplicates(['Type1'],keep='first')
# 去除相同的Type1的数据,仅保留第一个
df[df['Name']=='Squirtle']
# 查看杰尼龟的数据
df[df['Type1'].isin(['Fire'])]
# 查看所有Type1为Fire的数据
df[(df['Generation']==1)&(df['Attack’]>=100)]
# 查看Generation为1并且攻击力大于100的宝可梦
df.loc[3] # 访问行索引为3的数据
df.iloc[3] # 访问第4行数据,两行代码结果相同
df.iloc[:5,:2] # 数据前5行前两列,按位置索引
df.loc[10:15,['Generation','Attack','Sp.Atk']]
# 数据行标签10-15,列标签Generation,Attack和Sp.Atk,按标签索引
df.loc[[10,11,12,13,14,15],['Generation','Attack','Sp.Atk']]
# 与上述写法结果相同
df.loc[(df['Legendary']==True)|(df['Type1']=='Grass')]
# Legendary为真或者Type1为Grass的数据
接下来我们主要涉及seaborn以及matplotlib两个可视化库。
上半篇我们主要使用matplotlib来进行柱状图、散点图、饼图折线图等的绘制,下半篇主要使用seaborn来进行箱线图、小提琴图、分簇散点图、热力图等的绘制。本文是下半篇,上半篇链接在这里。
箱线图可以提供数据位置及其分散情况的关键信息,主要用于反映原始数据分布的特征,还可以进行多组数据分布特征的比较。
如上图所示,箱线图主要包含几个关键的数据,上、下四方位数,中位数,上、下边缘以及异常值。简单来说,上四分位数表示全部数据中有四分之一的数据大于它,异常值表示远离上或下四分位数。
我们来用箱线图观察一下宝可梦的各项属性的分散情况。
df2=df.drop(['Generation','Total','Legendary'],axis=1)
sns.boxplot(data=df2)
plt.show()
可以看到每种属性都有异常值,远超于普通宝可梦,其中血量值的异常值数量最多。
接着我们来看不同的代目的各种属性的分布特征,共用同一个Y轴,同时绘制四张子图。
fig,axes=plt.subplots(1,4,sharey=True)
sns.boxplot(x="Generation",y="Attack",data=df,ax=axes[0])
sns.boxplot(x="Generation",y="Sp.Atk",data=df,ax=axes[1])
sns.boxplot(x="Generation",y="Defense",data=df,ax=axes[2])
sns.boxplot(x="Generation",y="Sp.Def",data=df,ax=axes[3])
fig.set_size_inches(20,7)
总体来看,五代目宝可梦的攻击力水平要高于其他代目,二代目宝可梦的特殊攻击水平要低于其他代目。
我们还可以用箱线图来观察不同类型的宝可梦对其防御数值的影响,结果显而易见,钢铁类型的宝可梦拥有最为卓越的防御属性。
plt.subplots(figsize=(20,5))
plt.title('Defence by Type 1')
sns.boxplot(x='Type1',y='Defense',data=df2)
plt.ylim(0,240) # 设置y轴的范围
plt.show()
另外我们还可以在boxplot中添加参数hue,分门别类地进行箱线图绘制,这里根据是否为神兽来做区分,显然神兽的防御属性远超非神兽。
小提琴图结合了箱线图与核密度估计图的特点,它表征了在一个或多个分类变量情况下,连续变量数据的分布并进行了比较,它是一种观察多个数据分布有效方法。
这里我们绘制不同类型的宝可梦的攻击力值小提琴图。
plt.title('Attack by Type1')
sns.violinplot(x="Type1", y ="Attack",data=df2)
plt.ylim(0,200)
plt.show()
小提琴图中宽度较厚的部分表示具有较高密度点的区域,而较薄的部分则表示低密度点的区域。我们可以清楚地看到有一部分电系宝可梦的攻击力在60左右,小提琴图有明显的膨胀部分;而岩石系的宝可梦的攻击力分布较为平均,小提琴图呈长窄形状。
我们对不同代目的宝可梦绘制了总属性值的小提琴图,并且将是否为神兽区分开来。
plt.title('Strongest Generation')
sns.violinplot(x="Generation",y="Total",data=df,hue="Legendary",split=True)
plt.show()
根据小提琴图我们似乎可以得出一代目的神兽实力最为强劲,三代目的非神兽实力则更优。
这里采用热力图来可视化数据各列之间的相关性。可以看到特殊攻击、攻击和特殊防御的数值与是否为神兽的相关性较高,而代目与其他数据的相关性较低。
df3=df.drop(['Total'],axis=1)
sns.heatmap(df3.corr(),annot=True)
plt.show()
分簇散点图可以理解为数据点不重叠的分类散点图,swarmplot函数类似于stripplot函数,但该函数可以对点进行一些调整,使得数据点不重叠。
swarmplot()可以自己实现对数据分类的展现,也可以作为箱线图、小提琴图的一种补充,用来显示所有结果以及基本分布情况。
首先通过melt将宝可梦的各项数据汇到同一列中,即把窄宽的数据拉伸为长瘦型,将宝可梦的各项数值按照类型以分簇散点图的形式展现出来。
df5=pd.melt(df2, id_vars=["Name", "Type1", "Type2"], var_name="Stat")
sns.swarmplot(x="Stat", y="value", data=df5, hue="Type1",dodge=True)
plt.legend(bbox_to_anchor=(1, 1), loc=2, borderaxespad=0.)
plt.show()