Pandas 用法汇编

作者: 一杭oneline | 来源:发表于2020-01-11 11:49 被阅读0次

Pandas 用法汇编
【函数学习】pandas.dataframe.drop()
《利用pyhton进行数据分析》笔记-Pandas(一)
pandas groupby用法之as_index
可视化图表
pandas.read_csv
pandas用法总结
pandas 常见用法
Pandas 基础用法
pandas基本用法

50道练习带你玩转Pandas

王大毛

作者：王大毛，和鲸社区

出处：https://www.kesci.com/home/project/5ddc974ef41512002cec1dca

修改：黄海广

Pandas 是基于 NumPy 的一种数据处理工具，该工具为了解决数据分析任务而创建。Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的函数和方法。这些练习着重DataFrame和Series对象的基本操作，包括数据的索引、分组、统计和清洗。

本文的代码可以到github下载：https://github.com/fengdu78/Data-Science-Notes/tree/master/3.pandas/4.Pandas50

基本操作

1.导入 Pandas 库并简写为 pd，并输出版本号

import pandas as pdpd.__version__

'0.22.0'

2. 从列表创建 Series

arr = [0, 1, 2, 3, 4]df = pd.Series(arr) # 如果不指定索引，则默认从 0 开始df

0    01    12    23    34    4dtype: int64

3. 从字典创建 Series

d = {'a':1,'b':2,'c':3,'d':4,'e':5}df = pd.Series(d)df

a    1b    2c    3d    4e    5dtype: int64

4. 从 NumPy 数组创建 DataFrame

import numpy as npdates = pd.date_range('today', periods=6)  # 定义时间序列作为 indexnum_arr = np.random.randn(6, 4)  # 传入 numpy 随机数组columns = ['A', 'B', 'C', 'D']  # 将列表作为列名df = pd.DataFrame(num_arr, index=dates, columns=columns)df

|
| A | B | C | D |
| --- | --- | --- | --- | --- |
| 2020-01-10 22:46:01.642021 | 0.277099 | 0.665053 | 0.882637 | -0.598895 |
| 2020-01-11 22:46:01.642021 | 0.365233 | -2.529804 | -0.699849 | 0.159623 |
| 2020-01-12 22:46:01.642021 | -0.831850 | -2.099049 | -0.976407 | -0.342800 |
| 2020-01-13 22:46:01.642021 | 0.680800 | 1.682999 | 0.144469 | -2.503013 |
| 2020-01-14 22:46:01.642021 | -0.413880 | 0.876169 | -1.047877 | 0.996865 |
| 2020-01-15 22:46:01.642021 | 1.373956 | 0.029732 | -0.549268 | -0.287584 |

5. 从CSV中创建 DataFrame，分隔符为“；”，编码格式为gbk

df = pd.read_csv('test.csv', encoding='gbk', sep=';')

6\. 从字典对象创建DataFrame，并设置索引

import numpy as np
data = { 
'animal': ['cat', 'cat', 'snake', 'dog', 'dog', 'cat', 'snake', 'cat', 'dog', 'dog'], 
'age': [2.5, 3, 0.5, np.nan, 5, 2, 4.5, np.nan, 7, 3],  
'visits': [1, 3, 2, 3, 2, 3, 1, 1, 2, 1], 
'priority': ['yes', 'yes', 'no', 'yes', 'no', 'no', 'no', 'yes', 'no', 'no']
}
labels = ['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j']
df = pd.DataFrame(data, index=labels)
df

|
| age | animal | priority | visits |
| --- | --- | --- | --- | --- |
| a | 2.5 | cat | yes | 1 |
| b | 3.0 | cat | yes | 3 |
| c | 0.5 | snake | no | 2 |
| d | NaN | dog | yes | 3 |
| e | 5.0 | dog | no | 2 |
| f | 2.0 | cat | no | 3 |
| g | 4.5 | snake | no | 1 |
| h | NaN | cat | yes | 1 |
| i | 7.0 | dog | no | 2 |
| j | 3.0 | dog | no | 1 |

7. 显示df的基础信息，包括行的数量；列名；每一列值的数量、类型

df.info()
# 方法二
# df.describe()

<class 'pandas.core.frame.DataFrame'>
Index: 10 entries, a to j
Data columns (total 4 columns):
age  8 non-null float64
animal 10 non-null object
priority 10 non-null object 
visits  10 non-null int64  
dtypes: float64(1), int64(1), object(2)
memory usage: 400.0+ bytes

8. 展示df的前3行

df.iloc[:3]
# 方法二
#df.head(3)

|
| age | animal | priority | visits |
| --- | --- | --- | --- | --- |
| a | 2.5 | cat | yes | 1 |
| b | 3.0 | cat | yes | 3 |
| c | 0.5 | snake | no | 2 |

9. 取出df的animal和age列

df.loc[:, ['animal', 'age']]
# 方法二
# df[['animal', 'age']]

|
| animal | age |
| --- | --- | --- |
| a | cat | 2.5 |
| b | cat | 3.0 |
| c | snake | 0.5 |
| d | dog | NaN |
| e | dog | 5.0 |
| f | cat | 2.0 |
| g | snake | 4.5 |
| h | cat | NaN |
| i | dog | 7.0 |
| j | dog | 3.0 |

10. 取出索引为[3, 4, 8]行的animal和age列

df.loc[df.index[[3, 4, 8]], ['animal', 'age']]

|
| animal | age |
| --- | --- | --- |
| d | dog | NaN |
| e | dog | 5.0 |
| i | dog | 7.0 |

11. 取出age值大于3的行

df[df['age'] > 3]

|
| age | animal | priority | visits |
| --- | --- | --- | --- | --- |
| e | 5.0 | dog | no | 2 |
| g | 4.5 | snake | no | 1 |
| i | 7.0 | dog | no | 2 |

12. 取出age值缺失的行

df[df['age'].isnull()]

|
| age | animal | priority | visits |
| --- | --- | --- | --- | --- |
| d | NaN | dog | yes | 3 |
| h | NaN | cat | yes | 1 |

13.取出age在2,4间的行（不含）

df[(df['age']>2) & (df['age']>4)]# 方法二# df[df['age'].between(2, 4)]

|
| age | animal | priority | visits |
| --- | --- | --- | --- | --- |
| e | 5.0 | dog | no | 2 |
| g | 4.5 | snake | no | 1 |
| i | 7.0 | dog | no | 2 |

14. f 行的age改为1.5

df.loc['f', 'age'] = 1.5

15. 计算visits的总和

df['visits'].sum()

16. 计算每个不同种类animal的age的平均数

df.groupby('animal')['age'].mean()

animalcat      2.333333dog      5.000000snake    2.500000Name: age, dtype: float64

17. 在df中插入新行k，然后删除该行

#插入df.loc['k'] = [5.5, 'dog', 'no', 2]# 删除df = df.drop('k')df

|
| age | animal | priority | visits |
| --- | --- | --- | --- | --- |
| a | 2.5 | cat | yes | 1 |
| b | 3.0 | cat | yes | 3 |
| c | 0.5 | snake | no | 2 |
| d | NaN | dog | yes | 3 |
| e | 5.0 | dog | no | 2 |
| f | 1.5 | cat | no | 3 |
| g | 4.5 | snake | no | 1 |
| h | NaN | cat | yes | 1 |
| i | 7.0 | dog | no | 2 |
| j | 3.0 | dog | no | 1 |

18. 计算df中每个种类animal的数量

df['animal'].value_counts()

dog      4cat      4snake    2Name: animal, dtype: int64

19. 先按age降序排列，后按visits升序排列

df.sort_values(by=['age', 'visits'], ascending=[False, True])

|
| age | animal | priority | visits |
| --- | --- | --- | --- | --- |
| i | 7.0 | dog | no | 2 |
| e | 5.0 | dog | no | 2 |
| g | 4.5 | snake | no | 1 |
| j | 3.0 | dog | no | 1 |
| b | 3.0 | cat | yes | 3 |
| a | 2.5 | cat | yes | 1 |
| f | 1.5 | cat | no | 3 |
| c | 0.5 | snake | no | 2 |
| h | NaN | cat | yes | 1 |
| d | NaN | dog | yes | 3 |

20. 将priority列中的yes, no替换为布尔值True, False

df['priority'] = df['priority'].map({'yes': True, 'no': False})df

|
| age | animal | priority | visits |
| --- | --- | --- | --- | --- |
| a | 2.5 | cat | True | 1 |
| b | 3.0 | cat | True | 3 |
| c | 0.5 | snake | False | 2 |
| d | NaN | dog | True | 3 |
| e | 5.0 | dog | False | 2 |
| f | 1.5 | cat | False | 3 |
| g | 4.5 | snake | False | 1 |
| h | NaN | cat | True | 1 |
| i | 7.0 | dog | False | 2 |
| j | 3.0 | dog | False | 1 |

21. 将animal列中的snake替换为python

df['animal'] = df['animal'].replace('snake', 'python')df

|
| age | animal | priority | visits |
| --- | --- | --- | --- | --- |
| a | 2.5 | cat | True | 1 |
| b | 3.0 | cat | True | 3 |
| c | 0.5 | python | False | 2 |
| d | NaN | dog | True | 3 |
| e | 5.0 | dog | False | 2 |
| f | 1.5 | cat | False | 3 |
| g | 4.5 | python | False | 1 |
| h | NaN | cat | True | 1 |
| i | 7.0 | dog | False | 2 |
| j | 3.0 | dog | False | 1 |

22. 对每种animal的每种不同数量visits，计算平均age，即，返回一个表格，行是aniaml种类，列是visits数量，表格值是行动物种类列访客数量的平均年龄

df.pivot_table(index='animal', columns='visits', values='age', aggfunc='mean')

visits	1	2	3
animal



---	---	---	---
cat	2.5	NaN	2.25
dog	3.0	6.0	NaN
python	4.5	0.5	NaN

进阶操作

23. 有一列整数列A的DatraFrame，删除数值重复的行

df = pd.DataFrame({'A': [1, 2, 2, 3, 4, 5, 5, 5, 6, 7, 7]})print(df)df1 = df.loc[df['A'].shift() != df['A']]# 方法二# df1 = df.drop_duplicates(subset='A')print(df1)

    A0   11   22   23   34   45   56   57   58   69   710  7   A0  11  23  34  45  58  69  7

24. 一个全数值DatraFrame，每个数字减去该行的平均数

df = pd.DataFrame(np.random.random(size=(5, 3)))print(df)df1 = df.sub(df.mean(axis=1), axis=0)print(df1)

          0         1         20  0.465407  0.152497  0.8611741  0.623682  0.627339  0.4956522  0.835176  0.862376  0.6930473  0.319698  0.306709  0.6540634  0.234855  0.194232  0.438597          0         1         20 -0.027619 -0.340529  0.3681481  0.041457  0.045115 -0.0865722  0.038310  0.065509 -0.1038193 -0.107125 -0.120114  0.2272394 -0.054373 -0.094996  0.149368

25. 一个有5列的DataFrame，求哪一列的和最小

df = pd.DataFrame(np.random.random(size=(5, 5)), columns=list('abcde'))print(df)df.sum().idxmin()

          a         b         c         d         e0  0.653658  0.730994  0.223025  0.456730  0.2882831  0.937546  0.640995  0.197359  0.671524  0.0060352  0.392762  0.174955  0.053928  0.318634  0.4645343  0.741499  0.197861  0.988105  0.633780  0.9142504  0.469285  0.309043  0.162127  0.032480  0.863017'c'

26. 给定DataFrame，求A列每个值的前3大的B的值的和

df = pd.DataFrame({'A': list('aaabbcaabcccbbc'),                   'B': [12,345,3,1,45,14,4,52,54,23,235,21,57,3,87]})print(df)df1 = df.groupby('A')['B'].nlargest(3).sum(level=0)print(df1)

    A    B0   a   121   a  3452   a    33   b    14   b   455   c   146   a    47   a   528   b   549   c   2310  c  23511  c   2112  b   5713  b    314  c   87Aa    409b    156c    345Name: B, dtype: int64

27. 给定DataFrame，有列A, B，A的值在1-100（含），对A列每10步长，求对应的B的和

df = pd.DataFrame({    'A': [1, 2, 11, 11, 33, 34, 35, 40, 79, 99],    'B': [1, 2, 11, 11, 33, 34, 35, 40, 79, 99]})print(df)df1 = df.groupby(pd.cut(df['A'], np.arange(0, 101, 10)))['B'].sum()print(df1)

    A   B0   1   11   2   22  11  113  11  114  33  335  34  346  35  357  40  408  79  799  99  99A(0, 10]        3(10, 20]      22(20, 30]       0(30, 40]     142(40, 50]       0(50, 60]       0(60, 70]       0(70, 80]      79(80, 90]       0(90, 100]     99Name: B, dtype: int64

28. 给定DataFrame，计算每个元素至左边最近的0（或者至开头）的距离，生成新列y

df = pd.DataFrame({'X': [7, 2, 0, 3, 4, 2, 5, 0, 3, 4]})# 方法一x = (df['X'] != 0).cumsum()y = x != x.shift()df['Y'] = y.groupby((y != y.shift()).cumsum()).cumsum()print(df)

   X    Y0  7  1.01  2  2.02  0  0.03  3  1.04  4  2.05  2  3.06  5  4.07  0  0.08  3  1.09  4  2.0

# 方法二df['Y'] = df.groupby((df['X'] == 0).cumsum()).cumcount()first_zero_idx = (df['X'] == 0).idxmax()df['Y'].iloc[0:first_zero_idx] += 1print(df)

   X  Y0  7  11  2  22  0  03  3  14  4  25  2  36  5  47  0  08  3  19  4  2

29. 一个全数值的DataFrame，返回最大3个值的坐标

df = pd.DataFrame(np.random.random(size=(5, 3)))print(df)df.unstack().sort_values()[-3:].index.tolist()

          0         1         20  0.974321  0.454025  0.0188151  0.323491  0.468609  0.8344242  0.340960  0.826835  0.5032523  0.812414  0.202745  0.9651684  0.633172  0.270281  0.915212[(2, 4), (2, 3), (0, 0)]

30. 给定DataFrame，将负值代替为同组的平均值

df = pd.DataFrame({    'grps':    list('aaabbcaabcccbbc'),    'vals': [-12, 345, 3, 1, 45, 14, 4, -52, 54, 23, -235, 21, 57, 3, 87]})print(df)def replace(group):    mask = group < 0    group[mask] = group[~mask].mean()    return groupdf['vals'] = df.groupby(['grps'])['vals'].transform(replace)print(df)

   grps  vals0     a   -121     a   3452     a     33     b     14     b    455     c    146     a     47     a   -528     b    549     c    2310    c  -23511    c    2112    b    5713    b     314    c    87   grps        vals0     a  117.3333331     a  345.0000002     a    3.0000003     b    1.0000004     b   45.0000005     c   14.0000006     a    4.0000007     a  117.3333338     b   54.0000009     c   23.00000010    c   36.25000011    c   21.00000012    b   57.00000013    b    3.00000014    c   87.000000

31. 计算3位滑动窗口的平均值，忽略NAN

df = pd.DataFrame({    'group': list('aabbabbbabab'),    'value': [1, 2, 3, np.nan, 2, 3, np.nan, 1, 7, 3, np.nan, 8]})print(df)g1 = df.groupby(['group'])['value']g2 = df.fillna(0).groupby(['group'])['value']s = g2.rolling(3, min_periods=1).sum() / g1.rolling(3, min_periods=1).count()s.reset_index(level=0, drop=True).sort_index()

   group  value0      a    1.01      a    2.02      b    3.03      b    NaN4      a    2.05      b    3.06      b    NaN7      b    1.08      a    7.09      b    3.010     a    NaN11     b    8.00     1.0000001     1.5000002     3.0000003     3.0000004     1.6666675     3.0000006     3.0000007     2.0000008     3.6666679     2.00000010    4.50000011    4.000000Name: value, dtype: float64

Series 和 Datetime索引

32. 创建Series s，将2015所有工作日作为随机值的索引

dti = pd.date_range(start='2015-01-01', end='2015-12-31', freq='B')s = pd.Series(np.random.rand(len(dti)), index=dti)s.head(10)

2015-01-01    0.5034582015-01-02    0.1941852015-01-05    0.5509302015-01-06    0.1743092015-01-07    0.3169112015-01-08    0.2883852015-01-09    0.2932852015-01-12    0.3404362015-01-13    0.6300092015-01-14    0.076130Freq: B, dtype: float64

33. 所有礼拜三的值求和

s[s.index.weekday == 2].sum()

27.272318047689705

34. 求每个自然月的平均数

s.resample('M').mean()

2015-01-31    0.3754172015-02-28    0.5515602015-03-31    0.5407722015-04-30    0.4509572015-05-31    0.3691192015-06-30    0.5886252015-07-31    0.5843582015-08-31    0.6097512015-09-30    0.5112852015-10-31    0.5555462015-11-30    0.5287772015-12-31    0.574317Freq: M, dtype: float64

35. 每连续4个月为一组，求最大值所在的日期

s.groupby(pd.Grouper(freq='4M')).idxmax()

2015-01-31   2015-01-152015-05-31   2015-02-042015-09-30   2015-06-022016-01-31   2015-12-08dtype: datetime64[ns]

36. 创建2015-2016每月第三个星期四的序列

pd.date_range('2015-01-01', '2016-12-31', freq='WOM-3THU')#数据清洗df = pd.DataFrame({'From_To': ['LoNDon_paris', 'MAdrid_miLAN', 'londON_StockhOlm',                               'Budapest_PaRis', 'Brussels_londOn'],              'FlightNumber': [10045, np.nan, 10065, np.nan, 10085],              'RecentDelays': [[23, 47], [], [24, 43, 87], [13], [67, 32]],                   'Airline': ['KLM(!)', '<Air France> (12)', '(British Airways. )',                               '12\. Air France', '"Swiss Air"']})df

|
| Airline | FlightNumber | From_To | RecentDelays |
| --- | --- | --- | --- | --- |
| 0 | KLM(!) | 10045.0 | LoNDon_paris | [23, 47] |
| 1 | <Air France> (12) | NaN | MAdrid_miLAN | [] |
| 2 | (British Airways. ) | 10065.0 | londON_StockhOlm | [24, 43, 87] |
| 3 | 12. Air France | NaN | Budapest_PaRis | [13] |
| 4 | "Swiss Air" | 10085.0 | Brussels_londOn | [67, 32] |

37. FlightNumber列中有些值缺失了，他们本来应该是每一行增加10，填充缺失的数值，并且令数据类型为整数

df['FlightNumber'] = df['FlightNumber'].interpolate().astype(int)df

|
| Airline | FlightNumber | From_To | RecentDelays |
| --- | --- | --- | --- | --- |
| 0 | KLM(!) | 10045 | LoNDon_paris | [23, 47] |
| 1 | <Air France> (12) | 10055 | MAdrid_miLAN | [] |
| 2 | (British Airways. ) | 10065 | londON_StockhOlm | [24, 43, 87] |
| 3 | 12. Air France | 10075 | Budapest_PaRis | [13] |
| 4 | "Swiss Air" | 10085 | Brussels_londOn | [67, 32] |

38. 将From_To列从_分开，分成From, To两列，并删除原始列

temp = df.From_To.str.split('_', expand=True)temp.columns = ['From', 'To']df = df.join(temp)df = df.drop('From_To', axis=1)df

|
| Airline | FlightNumber | RecentDelays | From | To |
| --- | --- | --- | --- | --- | --- |
| 0 | KLM(!) | 10045 | [23, 47] | LoNDon | paris |
| 1 | <Air France> (12) | 10055 | [] | MAdrid | miLAN |
| 2 | (British Airways. ) | 10065 | [24, 43, 87] | londON | StockhOlm |
| 3 | 12. Air France | 10075 | [13] | Budapest | PaRis |
| 4 | "Swiss Air" | 10085 | [67, 32] | Brussels | londOn |

39. 将From, To大小写统一首字母大写其余小写

df['From'] = df['From'].str.capitalize()df['To'] = df['To'].str.capitalize()df

|
| Airline | FlightNumber | RecentDelays | From | To |
| --- | --- | --- | --- | --- | --- |
| 0 | KLM(!) | 10045 | [23, 47] | London | Paris |
| 1 | <Air France> (12) | 10055 | [] | Madrid | Milan |
| 2 | (British Airways. ) | 10065 | [24, 43, 87] | London | Stockholm |
| 3 | 12. Air France | 10075 | [13] | Budapest | Paris |
| 4 | "Swiss Air" | 10085 | [67, 32] | Brussels | London |

40. Airline列，有一些多余的标点符号，需要提取出正确的航司名称。举例：'(British Airways. )' 应该改为 'British Airways'.

df['Airline'] = df['Airline'].str.extract(    '([a-zA-Z\s]+)', expand=False).str.strip()df

|
| Airline | FlightNumber | RecentDelays | From | To |
| --- | --- | --- | --- | --- | --- |
| 0 | KLM | 10045 | [23, 47] | London | Paris |
| 1 | Air France | 10055 | [] | Madrid | Milan |
| 2 | British Airways | 10065 | [24, 43, 87] | London | Stockholm |
| 3 | Air France | 10075 | [13] | Budapest | Paris |
| 4 | Swiss Air | 10085 | [67, 32] | Brussels | London |

41. Airline列，数据被以列表的形式录入，但是我们希望每个数字被录入成单独一列，delay_1, delay_2, ...没有的用NAN替代。

delays = df['RecentDelays'].apply(pd.Series)delays.columns = ['delay_{}'.format(n) for n in range(1, len(delays.columns)+1)]df = df.drop('RecentDelays', axis=1).join(delays)df

|
| Airline | FlightNumber | From | To | delay_1 | delay_2 | delay_3 |
| --- | --- | --- | --- | --- | --- | --- | --- |
| 0 | KLM | 10045 | London | Paris | 23.0 | 47.0 | NaN |
| 1 | Air France | 10055 | Madrid | Milan | NaN | NaN | NaN |
| 2 | British Airways | 10065 | London | Stockholm | 24.0 | 43.0 | 87.0 |
| 3 | Air France | 10075 | Budapest | Paris | 13.0 | NaN | NaN |
| 4 | Swiss Air | 10085 | Brussels | London | 67.0 | 32.0 | NaN |

层次化索引

42. 用 letters = ['A', 'B', 'C']和 numbers = list(range(10))的组合作为系列随机值的层次化索引

letters = ['A', 'B', 'C']numbers = list(range(4))mi = pd.MultiIndex.from_product([letters, numbers])s = pd.Series(np.random.rand(12), index=mi)s

A  0    0.250785   1    0.146978   2    0.596062   3    0.064608B  0    0.709660   1    0.515778   2    0.483163   3    0.524490C  0    0.360434   1    0.987620   2    0.527151   3    0.636960dtype: float64

43. 检查s是否是字典顺序排序的

s.index.is_lexsorted()# 方法二# s.index.lexsort_depth == s.index.nlevels

True

44. 选择二级索引为1, 3的行

s.loc[:, [1, 3]]

A  1    0.146978   3    0.064608B  1    0.515778   3    0.524490C  1    0.987620   3    0.636960dtype: float64

45. 对s进行切片操作，取一级索引至B，二级索引从2开始到最后

s.loc[pd.IndexSlice[:'B', 2:]]# 方法二# s.loc[slice(None, 'B'), slice(2, None)]

A  2    0.596062   3    0.064608B  2    0.483163   3    0.524490dtype: float64

46. 计算每个一级索引的和（A, B, C每一个的和）

s.sum(level=0)#方法二#s.unstack().sum(axis=0)

A    1.058433B    2.233091C    2.512164dtype: float64

47. 交换索引等级，新的Series是字典顺序吗？不是的话请排序

new_s = s.swaplevel(0, 1)print(new_s)print(new_s.index.is_lexsorted())new_s = new_s.sort_index()print(new_s)

0  A    0.2507851  A    0.1469782  A    0.5960623  A    0.0646080  B    0.7096601  B    0.5157782  B    0.4831633  B    0.5244900  C    0.3604341  C    0.9876202  C    0.5271513  C    0.636960dtype: float64False0  A    0.250785   B    0.709660   C    0.3604341  A    0.146978   B    0.515778   C    0.9876202  A    0.596062   B    0.483163   C    0.5271513  A    0.064608   B    0.524490   C    0.636960dtype: float64

## 可视化import matplotlib.pyplot as pltdf = pd.DataFrame({"xs": [1, 5, 2, 8, 1], "ys": [4, 2, 1, 9, 6]})plt.style.use('ggplot')

48. 画出df的散点图

df.plot.scatter("xs", "ys", color = "black", marker = "x")

<matplotlib.axes._subplots.AxesSubplot at 0x1f188ddacc0>

image.gif

49. 可视化指定4维DataFrame

df = pd.DataFrame({    "productivity": [5, 2, 3, 1, 4, 5, 6, 7, 8, 3, 4, 8, 9],    "hours_in": [1, 9, 6, 5, 3, 9, 2, 9, 1, 7, 4, 2, 2],    "happiness": [2, 1, 3, 2, 3, 1, 2, 3, 1, 2, 2, 1, 3],    "caffienated": [0, 0, 1, 1, 0, 0, 0, 0, 1, 1, 0, 1, 0]})df.plot.scatter(    "hours_in", "productivity", s=df.happiness * 100, c=df.caffienated)

<matplotlib.axes._subplots.AxesSubplot at 0x1f18aea4c18>

image.gif

50. 在同一个图中可视化2组数据，共用X轴，但y轴不同

df = pd.DataFrame({    "revenue": [57, 68, 63, 71, 72, 90, 80, 62, 59, 51, 47, 52],    "advertising":    [2.1, 1.9, 2.7, 3.0, 3.6, 3.2, 2.7, 2.4, 1.8, 1.6, 1.3, 1.9],    "month":    range(12)})ax = df.plot.bar("month", "revenue", color="green")df.plot.line("month", "advertising", secondary_y=True, ax=ax)ax.set_xlim((-1, 12))

(-1, 12)

image.gif

本文的代码可以到github下载：https://github.com/fengdu78/Data-Science-Notes/tree/master/3.pandas/4.Pandas50

image.gif

备注：公众号菜单包含了整理了一本****AI小抄，非常适合在通勤路上用学习。

image.gif

往期精彩回顾

备注：加入本站微信群或者qq群，请回复“加群”

加入知识星球（4500+用户，ID：92416895），请回复“知识星球”

</pre>

喜欢文章，点个****在看

image.gif

阅读 143

在看

image

写下你的留言

Pandas 用法汇编
50道练习带你玩转Pandas 王大毛作者：王大毛，和鲸社区出处：https://www.kesci.com/h...
【函数学习】pandas.dataframe.drop()
pandas.dataframe.drop()删除集合中的整行或整列；用法： import pandas as ...
《利用pyhton进行数据分析》笔记-Pandas(一)
Pandas是这本书的重点，以后的操作基本上都是在Pandas的基础上完成的。就用法上，Pandas要比Numpy...
pandas groupby用法之as_index
pandas groupby用法之as_index DataFrame.groupby(self,by=None,...
可视化图表
基本用法常用图表绘制 Pandas中的绘图函数
pandas.read_csv
读取csv文件是遇到了pandas.read_csv函数。下面介绍下这个函数的用法。 pandas.read_cs...
pandas用法总结
#1、数据的生成（dataframe数据框|series序列） #模块导入 import pandas as pd...
pandas 常见用法
一、生成数据表 1、首先导入pandas库，一般都会用到numpy库，所以我们先导入备用： 1 import nu...
Pandas 基础用法
一个小例子，对一份电影数据文件作简单分析，并统计电影类别的出现次数读入这份电影数据集：取电影类别数据，并对Ge...
pandas基本用法
1. 根据某列排序 df按照t这个字段排序 inplace默认为False，如果该值为False，那么原来的df顺...

Pandas 用法汇编

50道练习带你玩转Pandas

基本操作

1.导入 Pandas 库并简写为 pd，并输出版本号

2. 从列表创建 Series

3. 从字典创建 Series

4. 从 NumPy 数组创建 DataFrame

5. 从CSV中创建 DataFrame，分隔符为“；”，编码格式为gbk

7. 显示df的基础信息，包括行的数量；列名；每一列值的数量、类型

8. 展示df的前3行

9. 取出df的animal和age列

10. 取出索引为[3, 4, 8]行的animal和age列

11. 取出age值大于3的行

12. 取出age值缺失的行

13.取出age在2,4间的行（不含）

14. f 行的age改为1.5

15. 计算visits的总和

16. 计算每个不同种类animal的age的平均数

17. 在df中插入新行k，然后删除该行

18. 计算df中每个种类animal的数量

19. 先按age降序排列，后按visits升序排列

20. 将priority列中的yes, no替换为布尔值True, False

21. 将animal列中的snake替换为python

22. 对每种animal的每种不同数量visits，计算平均age，即，返回一个表格，行是aniaml种类，列是visits数量，表格值是行动物种类列访客数量的平均年龄

进阶操作

23. 有一列整数列A的DatraFrame，删除数值重复的行

24. 一个全数值DatraFrame，每个数字减去该行的平均数

25. 一个有5列的DataFrame，求哪一列的和最小

26. 给定DataFrame，求A列每个值的前3大的B的值的和

27. 给定DataFrame，有列A, B，A的值在1-100（含），对A列每10步长，求对应的B的和

28. 给定DataFrame，计算每个元素至左边最近的0（或者至开头）的距离，生成新列y

29. 一个全数值的DataFrame，返回最大3个值的坐标

30. 给定DataFrame，将负值代替为同组的平均值

31. 计算3位滑动窗口的平均值，忽略NAN

Series 和 Datetime索引

32. 创建Series s，将2015所有工作日作为随机值的索引

33. 所有礼拜三的值求和

34. 求每个自然月的平均数

35. 每连续4个月为一组，求最大值所在的日期

36. 创建2015-2016每月第三个星期四的序列

37. FlightNumber列中有些值缺失了，他们本来应该是每一行增加10，填充缺失的数值，并且令数据类型为整数

38. 将From_To列从_分开，分成From, To两列，并删除原始列

39. 将From, To大小写统一首字母大写其余小写

40. Airline列，有一些多余的标点符号，需要提取出正确的航司名称。举例：'(British Airways. )' 应该改为 'British Airways'.

41. Airline列，数据被以列表的形式录入，但是我们希望每个数字被录入成单独一列，delay_1, delay_2, ...没有的用NAN替代。

层次化索引

42. 用 letters = ['A', 'B', 'C']和 numbers = list(range(10))的组合作为系列随机值的层次化索引

43. 检查s是否是字典顺序排序的

44. 选择二级索引为1, 3的行

45. 对s进行切片操作，取一级索引至B，二级索引从2开始到最后

46. 计算每个一级索引的和（A, B, C每一个的和）

47. 交换索引等级，新的Series是字典顺序吗？不是的话请排序

48. 画出df的散点图

49. 可视化指定4维DataFrame

50. 在同一个图中可视化2组数据，共用X轴，但y轴不同

加入知识星球（4500+用户，ID：92416895），请回复“知识星球”

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读