PythonShowMeTheCode(0008-9): 抓取网

1. 题目

第 0008 题：一个HTML文件，找出里面的正文。
第 0009 题：一个HTML文件，找出里面的链接。

2. 介绍

Python的一大魅力就在于爬虫方向的应用。

这两题都是对于Python爬取网页， 解析网页的简单应用。 本篇就从一个实际的例子出发：爬取王垠博客里的所有文章， 介绍一下requests和Beautifulsoup库的应用。

pip install requests
pip install beautifulsoup4

【注意】beautifulsoup3已经停止开发， Python35版本使用beautifulsoup4时，引用格式为from bs4 import BeautifulSoup。

3. 抓取所需的链接

首先，分析网站的源码。包含所需链接的源码形如：

<li class="list-group-item title">
    <a href="http://yinwang.org/blog-cn/2016/06/22/plan-change">两个计划的变动</a>
</li>
<li class="list-group-item title">
    <a href="http://yinwang.org/blog-cn/2016/06/20/it-and-society">IT业给世界带来的危机</a>
</li>

<a>标签中，href属性的值为所需的链接， 文字信息为文章的标题。下面就可以先通过requests库获取网页， 然后通过BeautifulSoup库，选择出所需的信息。

import requests
from bs4 import BeautifulSoup


headers = {
    'User-Agent': "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36",
    'Host': "www.yinwang.org",
    'Pragma': "no-cache"
}
requests = requests.Session()


def get_doc_urls():
    result = {}
    req = requests.get("http://www.yinwang.org/", headers=headers, verify=False)
    soup = BeautifulSoup(req.content, "lxml")
    tmp = soup.find_all("li", class_="list-group-item title")
    for block in tmp:
        title = block.a.text
        url = block.a.get("href")
        result[title] = url
    return result

这样， 我们就得到了一个标题和连接的映射dict， 下面就可以挨个下载这些网页了。

【注意】很多时候直接调用requests.get(url)无法得到想要的结果，需要写一个headers来伪装成浏览器的调用。

def download_html(url_dict):
    if len(url_dict) < 1:
        return

    for name, url in url_dict.items():
        req = requests.get(url, headers=headers, verify=False)
        with open(name + ".html", "wb") as file:
            for chunk in req.iter_content(100): 
               file.write(chunk)

在向本地写入文件时候，最好采用我这样的方法，也是requests官方文档中所建议的。

4. Beautifulsoup库中find()的几种用法

• 抓取标签中的文字

<!-- 例子1： 抓取div中的文字信息-->

<div class="pr">
    为了账号安全，请及时绑定邮箱和手机
</div>

str = soup.find("div", class_="pr").text

• 抓取href属性的链接

<!-- 例子2： 抓取href中的链接 -->

<a href="/u/00000/courses" class="sort-item active">最近学习</a>

str = soup.find("a", class_="sort-item active").get("href")

• 子标签不好标识的情况下，抓取父标签在抓子标签

<!-- 例子3： 抓取span中的文字 -->

<h3 class="user-name clearfix">
    <span>tyroneli</span>
</h3>

str = soup.find("h3", class_="user-name clearfix").find(span)