一、数据下载和查看

使用python中urllib.request模块中的urlretrieve函数下载此文件

from urllib.request import urlretrieve
urlretrieve('https://hub.jovian.ml/wp-content/uploads/2020/09/italy-covid-daywise.csv', 
            'italy-covid-daywise.csv')
import pandas as pd
covid_df = pd.read_csv('italy-covid-daywise.csv')

#covid_df.info() 基本信息  covid_df.describe() 基本统计信息描述  
#covid_df.columns表头信息  covid_df.shape 行数和列数

##获取表中的date和new_cases列
cases_df = covid_df[['date', 'new_cases']]  
##covid_df.loc[243] 获取第243行  covid_df.loc[108:113] 获取108到113行

二、分析数据

问：在意大利，与Covid-19相关的报告病例和死亡总数是多少？死亡率是多少？

total_cases = covid_df.new_cases.sum()
total_deaths = covid_df.new_deaths.sum()
print('报告病例是 {} 和死亡人数是 {}.'.format(int(total_cases), int(total_deaths)))
#死亡率是报告的死亡人数与报告的病例数之比
death_rate = covid_df.new_deaths.sum() / covid_df.new_cases.sum()
print("死亡率是 {:.2f} %.".format(death_rate*100))

问：哪些天病例超过了1000？

high_cases_df = covid_df[covid_df.new_cases > 1000]

问：排序找出案例数和死亡人数最多的日子？

covid_df.sort_values('new_cases', ascending=False).head(10)
covid_df.sort_values('new_deaths', ascending=False).head(10)

看起来三月的最后两个星期的每日病例数最多，而在新病例中，似乎每日死亡人数在高峰后约一周就达到高峰。

问：数据中是否有异常数据？如何处理？

covid_df.sort_values('new_cases').head(10)

微信截图_20210301134701.png

通过排序我们发现第172行数据有异常，新案例数为负数，我们可以通过这几种方法处理异常数据：1.替换为0；2.将其替换为整个列的平均值；3.将其替换为上一个和下一个日期的平均值；4.完全舍弃该行。
这里采用第三种方法，替换为上下列的平均值。

covid_df.at[172, 'new_cases'] = (covid_df.at[171, 'new_cases'] + covid_df.at[173, 'new_cases'])/2

三、处理日期

通过covid_df.date看出date的数据类型是object,pandas不好分析，使用pd.to_datetime方法将其转化数据类型datetime64。增加年月日周末这四列。

covid_df['date'] = pd.to_datetime(covid_df.date)
covid_df['year'] = pd.DatetimeIndex(covid_df.date).year
covid_df['month'] = pd.DatetimeIndex(covid_df.date).month
covid_df['day'] = pd.DatetimeIndex(covid_df.date).day
covid_df['weekday'] = pd.DatetimeIndex(covid_df.date).weekday

看下5月份的总体指标。然后使用该sum方法汇总每个选定列的值。

covid_df[covid_df.month == 5][['new_cases', 'new_deaths', 'new_tests']].sum()

一个简单的例子：
看下周日报告的病例数是否高于每天报告的平均病例数。

covid_df.new_cases.mean()
#1096.6149193548388
covid_df[covid_df.weekday == 6].new_cases.mean()
#1247.2571428571428

与其他日子相比，星期天似乎有更多的病例报告。

四、分组和汇总

我们按月创建一个组,用sum，mean进行汇总他们。

covid_month_df = covid_df.groupby('month')[['new_cases', 'new_deaths', 'new_tests']].sum()

covid_month_mean_df = covid_df.groupby('month')[['new_cases', 'new_deaths', 'new_tests']].mean()