Pandas是贯穿Python的主要工具，它所包含的数据结构和数据处理工具的设计使得在Python中进行数据清洗和分析非常快捷。Pandas经常和Numpy, SciPy以及可视化包matplotlib等一起使用。Pandas支持大部分Numpy风格的数组计算。但是和Numpy比起来，更加适合处理数据框类型的大型复杂数据。
废话不多说，就从导入pandas包开始吧。
import pandas as pd
还可以从本地命名空间中导入Series和DataFrame。
from pandas import Series, DataFrame
??? 啥意思，在下没懂
5.1 pandas数据结构介绍
说要熟悉两个工具，一个是Series还有一个是DataFrame，原来是这个意思，哦，懂了。
5.1.1 Series
Series是一种一维的数组型对象，包含了一个值序列，并且包含了数据标签，也就是索引(index)。最简单的序列可以仅仅由一个数组形成:
In [44]: import pandas as pd
In [45]: from pandas import Series, DataFrame
In [46]: obj=pd.Series([4,7,-5,3])
In [47]: obj
Out[47]:
0 4
1 7
2 -5
3 3
dtype: int64
交互环境中Series的字符串表示，索引在左边，值在右边。由于我们不为数据索引，默认生成的索引是0到N-1。所以可以通过values属性和index属性分别获得Series对象的值和索引。
In [48]: obj.values
Out[48]: array([ 4, 7, -5, 3])
In [49]: obj.index
Out[49]: RangeIndex(start=0, stop=4, step=1)
通常创建一个索引序列，要用标签(index)识别每个数据点:
In [60]: obj2=pd.Series([4,7,-5,3],index=['b','d','a','c'])
In [61]: obj2
Out[61]:
b 4
d 7
a -5
c 3
dtype: int64
可以直接call出index。
In [62]: obj2.index
Out[62]: Index(['b', 'd', 'a', 'c'], dtype='object')
与Numpy的数组相比，可以在从数据中选择数据时使用标签来进行索引。
In [67]: obj2['a']
Out[67]: -5
In [68]: obj2['d']=6
In [69]: obj2
Out[69]:
b 4
d 6
a -5
c 3
dtype: int64
In [70]: obj2[['c','a','d']]
Out[70]:
c 3
a -5
d 6
dtype: int64
上面的例子中，['c','a','d']包含的不是数字而是字符串，作为索引列表。
也可以使用Numpy类似的用法，
In [71]: obj2[obj2>2]
Out[71]:
b 4
d 6
c 3
dtype: int64
In [72]: obj2*2
Out[72]:
b 8
d 12
a -10
c 6
dtype: int64
In [73]: np.exp(obj2)
Out[73]:
b 54.598150
d 403.428793
a 0.006738
c 20.085537
dtype: float64
In [74]: obj2[obj2>0]
Out[74]:
b 4
d 6
c 3
dtype: int64
也可以把Seires看作是一个长度固定且有序的字典。
In [75]: 'b' in obj2
Out[75]: True
In [76]: 'e' in obj2
Out[76]: False
如果已经有数据包含在Python字典，可以使用这个字典数据生成Series数据。
In [77]: sdata={'Ohio':35000,'Texas':71000,'Oregon':16000,'Utah':5000}
In [78]: obj3=pd.Series(sdata)
In [79]: obj3
Out[79]:
Ohio 35000
Texas 71000
Oregon 16000
Utah 5000
dtype: int64
也可以自定义索引来查找数据，
In [80]: states=['California','Ohio','Oregon','Texas']
In [81]: obj4=pd.Series(sdata,index=states)
In [82]: obj4
Out[82]:
California NaN
Ohio 35000.0
Oregon 16000.0
Texas 71000.0
dtype: float64
上面的例子里由于原Series数据里没有California,所以返回了NaN。
pandas中使用isnull和notnull函数来检查缺失数据。
In [83]: pd.isnull(obj4)
Out[83]:
Canlifornia True
Ohio False
Oregon False
Texas False
dtype: bool
In [84]: pd.notnull(obj4)
Out[84]:
Canlifornia False
Ohio True
Oregon True
Texas True
dtype: bool
isnull和notnull也是Series的实用方法。
In [85]: obj4.isnull()
Out[85]:
Canlifornia True
Ohio False
Oregon False
Texas False
dtype: bool
Series还有自动对齐索引的功能。
In [86]: obj3+obj4
Out[86]:
Canlifornia NaN
Ohio 70000.0
Oregon 32000.0
Texas 142000.0
Utah NaN
dtype: float64
Series对象自身和其索引都有name属性，这个特性和pandas其他重要功能集成在一起。
In [87]: obj4.name='population'
In [88]: obj4.index.name='state'
In [89]: obj4
Out[89]:
state
Canlifornia NaN
Ohio 35000.0
Oregon 16000.0
Texas 71000.0
Name: population, dtype: float64
??没懂，index.name是给全体序列名命名？
In [90]: obj
Out[90]:
0 4
1 7
2 -5
3 3
dtype: int64
In [91]: obj.index=['Bob','Steve','Jeff','Ryan']
In [92]: obj
Out[92]:
Bob 4
Steve 7
Jeff -5
Ryan 3
dtype: int64
5.1.2 DataFrame
尽管DataFrame是二维的，但是可以利用分层索引在DataFrame中展现更高维度的数据。分层索引会在后面出现。
最常用的方式是利用包含等长度列表或Numpy数组的字典来形成DataFrame。
In [96]: data={'state':['Ohio','Ohio','Ohio','Nevada','Nevada','Nevada'],
...: 'year':[2000,2001,2002,2001,2002,2003],
...: 'pop':[1.5,1.7,3.6,2.4,2.9,3.2]}
In [97]: frame=pd.DataFrame(data)
In [98]: frame
Out[98]:
state year pop
0 Ohio 2000 1.5
1 Ohio 2001 1.7
2 Ohio 2002 3.6
3 Nevada 2001 2.4
4 Nevada 2002 2.9
5 Nevada 2003 3.2
对于大型的DataFrame,可以用head来显示前五行。
In [8]: data={'state':['Ohio','Ohio','Ohio','Nevada','Nevada','Nevada'],
...: 'year':[2000,2001,2002,2001,2002,2003],
...: 'pop':[1.5,1.7,3.6,2.4,2.9,3.2]}
In [9]: frame=pd.DataFrame(data)
In [10]: frame
Out[10]:
state year pop
0 Ohio 2000 1.5
1 Ohio 2001 1.7
2 Ohio 2002 3.6
3 Nevada 2001 2.4
4 Nevada 2002 2.9
5 Nevada 2003 3.2
In [11]: frame.head()
Out[11]:
state year pop
0 Ohio 2000 1.5
1 Ohio 2001 1.7
2 Ohio 2002 3.6
3 Nevada 2001 2.4
4 Nevada 2002 2.9
如果制定了列的顺序，DataFrame的列将会按照指定顺序排列。
In [13]: pd.DataFrame(data,columns=['year','state','pop'])
Out[13]:
year state pop
0 2000 Ohio 1.5
1 2001 Ohio 1.7
2 2002 Ohio 3.6
3 2001 Nevada 2.4
4 2002 Nevada 2.9
5 2003 Nevada 3.2
如果指定的列不再DataFrame里的话则会出现缺失值：
In [14]: frame2=pd.DataFrame(data,columns=['year','state','pop','debt'],
...: index=['one','two','three','four','five','six'])
In [15]: frame2
Out[15]:
year state pop debt
one 2000 Ohio 1.5 NaN
two 2001 Ohio 1.7 NaN
three 2002 Ohio 3.6 NaN
four 2001 Nevada 2.4 NaN
five 2002 Nevada 2.9 NaN
six 2003 Nevada 3.2 NaN
DataFrame中的一列，可以按字典型标记或属性那样检索为Series:
In [17]: frame2['state']
Out[17]:
one Ohio
two Ohio
three Ohio
four Nevada
five Nevada
six Nevada
Name: state, dtype: object
也可以用
In [18]: frame2.year
Out[18]:
one 2000
two 2001
three 2002
four 2001
five 2002
six 2003
Name: year, dtype: int64
好神奇，赞了赞了，可读性比R语言瞬间高了一个档次
也可以通过为止或特殊属性loc进行选取，相当于把数据结构横了过来？
In [19]: frame2.loc['three']
Out[19]:
year 2002
state Ohio
pop 3.6
debt NaN
Name: three, dtype: object
列的引用也可以修改。例如，空的'debt'列可以赋值为标量值或数组值
frame2['debt']=16.5
frame2
Out[21]:
year state pop debt
one 2000 Ohio 1.5 16.5
two 2001 Ohio 1.7 16.5
three 2002 Ohio 3.6 16.5
four 2001 Nevada 2.4 16.5
five 2002 Nevada 2.9 16.5
six 2003 Nevada 3.2 16.5
In [25]: frame2
Out[25]:
year state pop debt
one 2000 Ohio 1.5 0.0
two 2001 Ohio 1.7 1.0
three 2002 Ohio 3.6 2.0
four 2001 Nevada 2.4 3.0
five 2002 Nevada 2.9 4.0
six 2003 Nevada 3.2 5.0
网友评论