美文网首页
利用pandas快速获取网页中的表格数据

利用pandas快速获取网页中的表格数据

作者: Xyxtank | 来源:发表于2019-08-01 14:46 被阅读0次

一、背景

在日常的数据分析工作中,经常会去寻找数据来源,因此会时常见到网页表格信息,并且不能直接复制到excel表中。为了能快速的将网页中的表格信息获取,并进行分析总结,最后呈报上级领导。所以需要思考怎么去获取信息更方便快捷,当然正常的网页爬取也是可行,但是要相对复杂一些,这里我们选用pandas库进行操作,表格爬取易如反掌。

二、必要知识

在开始获取表格信息之前,需要了解一些pandas方法。pandas库的文档可以参考:https://www.pypandas.cn/docs/

1、pandas.DataFrame.to_csv方法:将数据保存为csv格式

DataFrame.to_csv(self, path_or_buf=None, sep=', ', na_rep='', float_format=None, columns=None, header=True, index=True, index_label=None, mode='w', encoding=None, compression='infer', quoting=None, quotechar='"', line_terminator=None, chunksize=None, date_format=None, doublequote=True, escapechar=None, decimal='.')
  • 文件路径(path_or_buf):这个需要注意相对路径和绝对路径的区别。
  • 分隔符(sep):默认情况下,数据是逗号进行分割。
  • 替换空值(na_rep):默认情况下是空。
  • 格式(float_format):可以设置格式。
  • 保留例(columns):可以在columns填需要保留的例。
  • 是否保留列名(header):默认情况是保留。
  • 是否保留索引(index):默认情况下保留。

2、pandas.read_html方法:将HTML网页中的表格解析为DataFrame对象,返回列表。详参:https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.read_html.html#pandas.read_html

pandas.read_html(io, match='.+', flavor=None, header=None, index_col=None, skiprows=None, attrs=None, parse_dates=False, thousands=', ', encoding=None, decimal='.', converters=None, na_values=None, keep_default_na=True, displayed_only=True)
  • 数据(IO):接收网址、文件、字符串。
  • 正则匹配数据(match):正则表达式,返回与正则表达式匹配的表格。
  • 解析方式(flavor):解析器默认为‘lxml’,如果失败则返回bs4 + html5lib。
  • 标题行(header):指定列标题所在的行,list为多重索引。
  • 解码方式(encoding):解码方式,默认使用网页文档中的编码方式。

三、爬取表格数据

1、分析网站

本次示例的网站地址是:世界大学排名网站,地址见代码。经过分析,网站的请求方式GET,爬取难度比较小。

然后,定位获取表格数据。

最后,代码实现表格数据的爬取。

import pandas as pd
import requests
from fake_useragent import UserAgent
import random
from lxml import etree

'''请求头函数'''

def agent():
    ua = UserAgent()
    # 随机选择chrome、ie、firefox请求头
    useragent = random.choice([ua.chrome, ua.ie, ua.firefox])
    headers = {
        'User-Agent': useragent,
        'Referer': 'https: // cn.bing.com /'
    }
    return headers


'''解析网页数据'''

def parse_html(url):
    try:
        resp = requests.get(url, headers=agent())
        # 将编码方式设置为从内容中分析出的响应内容编码方式
        resp.encoding = resp.apparent_encoding
        if resp.status_code == 200:
            tree = etree.HTML(resp.text)
            # 定位获取表格信息
            tb = tree.xpath('//table[@id="rk"]')
            # 将byte类型解码为str类型
            tb = etree.tostring(tb[0], encoding='utf8').decode()
            return tb
        else:
            print('爬取失败')
    except Exception as e:
        print(e)

def main():
    url = 'http://www.compassedu.hk/qs_'
    tb = parse_html(url)
    # 解析表格数据
    df = pd.read_html(tb, encoding='utf-8', header=0)[0]
    # 转换成列表嵌套字典的格式
    result = list(df.T.to_dict().values())
    # 保存为csv格式
    df.to_csv('university.csv', index=False)
    print(result)


if __name__ == '__main__':
    main()

结果展示:

四、分析表格数据信息

1、编码格式转换

虽然,表格数据已经保存到本地.csv文件中,但是用excel打开时发现是乱码,而在代码编辑器中打开又显示正常,这是什么原因。其实,很简单,撸代码的时候经常会遇到编码问题。只需要把excel编码的方式改变,并保存为excel格式的数据文件即可。

首先,创建一个university.xlsx文件,然后打开它。在工具栏“数据”中找到“从文本/csv”导入数据,选择数据源文件,也就是网上爬取的university.csv数据文件。最后点击“导入”

选择文件编码方式,这里选择的是utf-8的编码方式。这里csv默认情况下数据是逗号进行分隔,所以不用再选择。最后点击加载即可。

2、数据分析

现在数据已经全部正常展示在excel表中,接着点击“插入”数据透视表,或者用快捷方式ctrl+q也可以。最后点击确定。

接着,再在数据透视表中进行调整,分析数据,得出结论。

最后,所以对于数据量不是非常大的情况,用excel的数据透视表功能,灵活的处理、分析、展示数据信息也是一种十分高效的方法。

相关文章

网友评论

      本文标题:利用pandas快速获取网页中的表格数据

      本文链接:https://www.haomeiwen.com/subject/gdgqdctx.html