第五课 - Pandas 入门

本课内容：

*01. pandas DataFrame（数据框）

*02. pandas Series

*03. 数据的选择

*04. 案例：Iris 鸢尾花数据

* 数据的导入和观察

* 数据选择复习

* 数据可视化初探

01. Pandas DataFrame（表格型数据结构）

我们存储数据最常用的形式是表格

• 表格就是由行与列所构成的一种有序的组织形式
• 表格的第一行一般是变量名称，也称为表头（header）
• 不同的变量可以是不同的数据类型。
• DataFrame含有一组有序的列，每列可以是不同是值类型（数值、字符串、布尔型等）
• DataFrame既有行索引也有列索引

比如下面这个表格罗列了2016年GDP最高的5个国家以及对应的首都，人口(百万)，GDP（万亿美元），和所在大洲

country	capital	population	GDP	continent
United States	Washington, D.C.	323	19.42	North America
China	Beijing	1389	11.8	Asia
Japan	Tokyo	127	4.84	Asia
Germany	Berlin	83	3.42	Europe
United Kingdom	London	66	2.5	Europe

问题：如何在python中表示以上这个表格？

• 在第四节课中，我们介绍了二维numpy array。但是numpy array只能存储一种数据类型，但是上面的表格同时有数值变量和字符串。
• 我们需要使用pandas包来处理
  • pandas是数据科学中最常用的包之一，可以高效的处理各种数据格式。
  • pandas是基于numpy构建的
  • 我们将重点介绍pandas中的series和DataFrame

1.1 从字典创建一个DataFrame

• 回忆第三节课程，我们需要键（key）和值（value）来定义一个字典
  gdp = {"country":["United States", "China", "Japan", "Germany", "United Kingdom"],
  "capital":["Washington, D.C.", "Beijing", "Tokyo", "Berlin", "London"],
  "population":[323, 1389, 127, 83, 66],
  "gdp":[19.42, 11.8, 4.84, 3.42, 2.5],
  "continent":["North America", "Asia", "Asia", "Europe", "Europe"]}

& import pandas as pd # 按惯例将pandas简称为pd

gdp_df = pd.DataFrame(gdp)

输出：gdp_df #列索引为第一行，行索引为0-4

Paste_Image.png

我们可以通过index选项添加自定义的行标签(label)

使用column选项可以选择列的顺序

&gdp_df = pd.DataFrame(gdp, columns = ["country", "capital", "population", "gdp", "continent"], index = ["us", "cn", "jp", "de", "uk"])

输出：gdp_df

Paste_Image.png

也可以使用index和columns直接修改

* gdp_df.index = ["US", "CN", "JP", "DE", "UK"]

* gdp_df.columns = ["Country", "Capital", "Population", "GDP", "Continent"]

输出：gdp_df

Paste_Image.png

增加一列数据

* 增加rank列，表示他们的GDP处在前5位

gdp_df["rank"] = "Top5 GDP"

* 增加国土面积变量,以百万公里计（数据来源：http://data.worldbank.org/）

gdp_df["Area"] = [9.15, 9.38, 0.37, 0.35, 0.24]

输出：gdp_df

Paste_Image.png

02.Pandas series

• pandas中的series对象是另一个重要的数据结构
• 你可以将其视为一个一维的DataFrame或者一个一维数组（array）加上一个索引（index）
• 在这节课后半部分，我们将展示series在数据过滤和分组运算中起到作用

例 1. series = pd.Series([2,4,5,7,3], index=['a','b','c','d','e']) # 一个最简单的series

输出：series # 默认的索引是0到4

Paste_Image.png

* 当我们使用 # 点操作符 # 来查看一个变量时，返回的是一个pandas series

* 在后续的布尔筛选中使用点方法可以简化代码

* US,...,UK是索引

例 2 . gdp_df.GDP

输出：

Paste_Image.png

例 3 . gdp_df.GDP.index —— # 可以直接查看索引index

输出：Index(['US', 'CN', 'JP', 'DE', 'UK'], dtype='object')

例 4 \ . type(gdp_df.GDP) ——# 类型是pandas.core.series.Series

输出：pandas.core.series.Series

例 5 . gdp_df.GDP > 4——#返回一个布尔型的series，在后面讲到的DataFrame的布尔索引中会大量使用

输出：

Paste_Image.png

例 5 \ .gdp_dict = {"US": 19.42, "CN": 11.80, "JP": 4.84, "DE": 3.42, "UK": 2.5}

gdp_series = pd.Series(gdp_dict)

——# 我们也可以将series视为一个长度固定且有顺序的字典，一些用于字典的函数也可以用于series

输出： gdp_series

Paste_Image.png

03. 数据的选择

• df [ [ ‘conlum_name’] ] ——选取列，生成DataFrame格式数据
• df [ ‘conlum_name’ ] ——选取列，生成series格式数据
• df. conlum_name——生成series格式数据
• df [2:5]（使用一对方括弧，但里面是数值切片索引）——生成行索引
• df.loc——使用行和列的标签索引选取数据（行和列都是放在列表中）
• df.iloc——使用行和列的数值索引选取数据（行和列都是放在列表中）
• 使用布尔索引筛选数据

例 1. gdp_df [["Country"]] ——# 使用变量名加[[]]选取列

输出：

Paste_Image.png

例 2. gdp_df[["Country", "GDP"]]_# 可以同时选取多列

输出：

Paste_Image.png

例 3. type(gdp_df["Country"])_#如果只是用[ ]则产生series

输出：pandas.core.series.Series

例 4. gdp_df.Country_# 使用句点符号也能获取某一列的Series

输出：

Paste_Image.png

例 5.gdp_df[2:5]

• 终索引是不被包括的！
• 行选取和2d数组类似

• 如果使用 [ ] 选取行，切片方法唯一的选项
  输出：

  
  Paste_Image.png

loc方法

• 是一种基于 行标签和列标签 选取数据的方法
• 可以选取特定行或列，也可以同时指定所需要的行与列
• 和二维numpy array的格式非常类似

例 1.gdp_df.loc[["JP","DE"]]

• 在上面例子中，我们使用行索引选取行，能不能使用行标签实现选取呢？

• loc方法正是基于标签选取数据的方法
  输出：

  
  Paste_Image.png

例 2.gdp_df.loc[["JP","DE"],["Country", "GDP", "Continent"]]

• 以上例子选取了所有的列

• 我们可以加入需要的列标签
  输出：

  
  Paste_Image.png

例 3.gdp_df.loc[:, ["Country", "GDP", "Continent"]]

• 选取所有的行，我们可以使用 : 来表示选取所有的行
  输出：

  
  Paste_Image.png

iloc方法

• 和loc方法不同的地方是，iloc是基于行列索引进行数据选择而不是标签
• 具体使用方法和loc类似，用行/列索引代替标签

例 1.gdp_df.iloc[[2,3]]

• 等价于gdp_df.loc[["JP","DE"]]
  输出：

  
  Paste_Image.png

例2.gdp_df.loc[["JP","DE"],["Country", "GDP", "Continent"]]

等价于=gdp_df.iloc[[2,3],[0,3,4]]

输出：

Paste_Image.png

例 3.gdp_df.iloc[:, [0,3,4]]

等价于gdp_df.loc[:, ["country", "GDP", "continent"]]

输出：

Paste_Image.png

使用布尔索引(boolean Indexing)筛选数据

• 我们可以使用pandas series来获取一个boolean series
• 布尔索引的使用和二维numpy array类似
• 可以结合 [ ] 或者loc一起使用

例 1.gdp_df[gdp_df.Continent == "Asia"]

• 选出亚洲国家，下面两行命令产生一样的结果
  输出：

  
  Paste_Image.png

例 2.gdp_df.loc[gdp_df.Continent == "Asia"]

Paste_Image.png

例 3.gdp_df [ ( gdp_df.Continent == "Europe") & (gdp_df.GDP > 3 ) ]

输出：

• 选出gdp大于3兆亿美元的欧洲国家

Paste_Image.png

04.案例：Iris 鸢尾花数据

让我们来看一下经典的iris数据

• 鸢尾花卉数据集， 来源 UCI 机器学习数据集
• 四个特征被用作样本的定量分析，它们分别是花萼(sepal)和花瓣(petal)的长度(length)和宽度(width)

4.1数据的导入和观察

col_names = ['sepal_length', 'sepal_width', 'petal_length', 'petal_width', 'species']

• 用列表存储列标签

iris = pd.read_csv('iris.txt', names=col_names)

• 读取数据，并指定每一列的标签

iris.head(10)

• 使用head/tail查看数据的头和尾

• 查看开头10行数据
  输出：

  
  Paste_Image.png

iris.info()

• 使用info方法查看数据的总体信息
  输出：<class 'pandas.core.frame.DataFrame'>
  RangeIndex: 150 entries, 0 to 149
  Data columns (total 5 columns):
  sepal_length 150 non-null float64
  sepal_width 150 non-null float64
  petal_length 150 non-null float64
  petal_width 150 non-null float64
  species 150 non-null object
  dtypes: float64(4), object(1)
  memory usage: 5.9+ KB

iris.shape

• 使用shape可以查看DataFrame的行数与列数
• iris有150个观察值，5个变量
  输出：(150, 5)

iris.species.unique()

• 这里的品种(species)是分类变量(categorical variable)
• 可以使用unique方法来对查看series中品种的名字
  输出：array(['Iris-setosa', 'Iris-versicolor', 'Iris-virginica'], dtype=object)

iris.species.value_counts()

• 统计不同品种的数量
• 使用DataFrame的value_counts方法来实现
  输出：
  Iris-setosa 50
  Iris-versicolor 50
  Iris-virginica 50
  Name: species, dtype: int64

4.2数据选择复习

例1：选取花瓣数据，即 petal_length 和 petal_width 这两列

方法一：使用[[ ]]

petal = iris[['petal_length', 'petal_width']]

输出：petal.head()

Paste_Image.png

方法二：使用 .loc[ ]

petal = iris.loc[:, ['petal_length', 'petal_width']]

输出：petal.head()

Paste_Image.png

方法三：使用 .iloc[ ]

petal = iris.iloc[:, 2:4]

输出：petal.head()

Paste_Image.png

例2：选取行索引为5-10的数据行

方法一：使用 [ ]

iris[5:11]

输出：

Paste_Image.png

方法二：使用 .iloc[]

iris.iloc[5:11, :]

输出：

Paste_Image.png

例3：选取品种为 Iris-versicolor 的数据

versicolor = iris[iris.species == 'Iris-versicolor']

versicolor.head()

输出： Paste_Image.png

4.3数据可视化初探

• 数据可视化一般是数据分析的第一步，让我们对数据有一个直观的了解。
• 通过可视化，我们往往可以观察到一些规律，这些观察到的规律可以对后续的建模起到指导作用。
• 可视化也是和非技术背景人沟通最有效的手段之一，不是所有人都懂得模型，但是大部分都可以理解图形

设置在notebook中直接展示图形输出

注意DataFrame也是基于matplotlib作图的

matplotlib inline

设置图片清晰度

config InlineBackend.figure_format = 'retina'

4.3.1散点图

我们首先画散点图（sactter plot），x轴上画出花瓣的长度，y轴上画出花瓣的宽度

我们观察到什么呢？

iris.plot(kind='scatter', x="petal_length", y="petal_width")

<matplotlib.axes._subplots.AxesSubplot at 0x11c0c7a90>

Paste_Image.png

使用布尔索引的方法分别获取三个品种的数据

setosa = iris[iris.species == 'Iris-setosa']
versicolor = iris[iris.species == 'Iris-versicolor']
virginica = iris[iris.species == 'Iris-virginica']

ax = setosa.plot(kind='scatter', x="petal_length", y="petal_width", color='Red', label='setosa', figsize=(10,6))
versicolor.plot(kind='scatter', x="petal_length", y="petal_width", color='Green', ax=ax, label='versicolor')
virginica.plot(kind='scatter', x="petal_length", y="petal_width", color='Orange', ax=ax, label='virginica')
<matplotlib.axes._subplots.AxesSubplot at 0x11e71b550>

Paste_Image.png