前言

今天为大家带来利用Python爬虫抓取豆瓣读书Top250，废话不多说。

Let's start happily

image.png

开发工具

Python版本： 3.6.4

相关模块：

requests模块

lxml模块

csv模块

环境搭建

安装Python并添加到环境变量，pip安装需要的相关模块即可。

思路分析

本文以爬虫抓取豆瓣读书，讲解如何爬取豆瓣读书Top250！

前期准备

1.获取页面内容

for url in urls:
    html = requests.get(url, headers=headers)
    selector = etree.HTML(html.text)

2.提取整个豆瓣书籍页面数据

• 浏览器中打开我们要爬取的页面
• 按F12进入开发者工具，查看我们想要的数据在哪里
• 这里我们需要书籍书名,作者/译者, 星级, 评分, 评语，出版社or时间信息等

 infos = selector.xpath('//tr[@class="item"]')

3.获取豆瓣书籍书名', '作者/译者', '出版社or时间信息', '价格', '评分', '评价人数', '评语', '相应的豆瓣链接'。

for info in infos:
        name = info.xpath('td/div/a/@title')[0]  # 书名.
        url = info.xpath('td/div/a/@href')[0]  # 链接.
        book_infos = info.xpath('td/p/text()')[0]
        author = book_infos.split('/')[0]  # 作者.
        publisher = book_infos.split('/')[-3]  # 出版社.
        date = book_infos.split('/')[-2]  # 出版时间.
        price = book_infos.split('/')[-1]  # 价格.
        rate = info.xpath('td/div/span[2]/text()')[0]  # 评分.
        number = info.xpath('normalize-space(td/div/span[3]/text())')  # 评价人数
        comments = info.xpath('td/p/span/text()')  # 评语.
        comment = comments[0] if len(comments) != 0 else "空"

运行结果

image.png

4.写入数据

       writer.writerow(("《"+name+"》", url, author, publisher, date, price, rate + "分", number, comment))

#代码测试2022.8.6无异常

效果展示

豆瓣数据词云图