主要模块

#1 简易爬虫.jpg

主要由这几部分组成：

爬虫调度端（spider_main）：对爬虫流程进行控制
url管理器(url_manager)：对要爬取的url进行管理
网页下载器(download_manager)：对希望爬取的网页进行下载
网页解析器(html_parser)：对下载好的网页进行解析，如果需要对网页中的其它链接进行下载，则将解析好的url添加到url管理器中
循环上面步骤，然后将有价值的信息存储下来

整个流程

#2 流程图.jpg

看上面的流程图：

调度器询问URL管理器，是否有待爬的url?
如果得到肯定回复，则将获取的url添加到URL管理器中
URL管理器将待爬的数据返给调度器，调度器调用下载器进行URL内容下载
然后调度器将下载好的内容交给解析器进行解析，收集有用数据

URL调度器

#3 URL管理器.jpg

URL管理器的主要原理就是：将已经爬取的或待爬取的分成2类，避免重复循环爬取

#4 URL管理器实现方式.jpg

其实现方式有3种：

小的应用使用内存，使用 set数据结构存储
也可以使用数据库对urls进行存储查询
使用redis,一般用于比较大的爬虫操作

网页下载器

#5 网页下载器.jpg

网页下载器可以使用python内置的 urllib.request 中的 urlopen 方法

另外下载网页时可能遇到的问题：

需要模拟头信息
需要登录之后才能查看网页的情况
权限限制
网页是异步加载的，所以直接去下载得不到内容

from urllib.request import urlopen
from urllib import request
import http.cookiejar


url = 'http://www.imooc.com/video/10683'

print('第1种方法')
response1 = urlopen(url)
print(response1.getcode())  # 获取状态码
print(len(response1.read()))


print('第2种方法, 添加请求头信息')
req = request.Request(url)
req.add_header('user-agent', 'Mozilla/5.0')  # 添加头信息
response2 = urlopen(req)
print(response2.getcode())
print(len(response2.read()))


print('第3种方法， 添加cookie')
cj = http.cookiejar.CookieJar()
opener = request.build_opener(request.HTTPCookieProcessor(cj))
request.install_opener(opener)
response3 = urlopen(url)
print(response3.getcode())
print(cj)
print(response3.read())

网页解析器

对网页进行解析，有4种方式:

使用正则表达式进行模糊匹配，用的很少
使用内置的 html.parser
使用内置的 Ixml
使用第3方的插件，比如 BeautifulSoup, 这个插件实现了上面的多种方式

BeautifulSoup的基本操作

from bs4 import BeautifulSoup
import re


html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1"><small>Elsie</small></a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""

# 定义一个soup, 3个参数分别为
# 解析的字符串
# 使用的解析器， 还可以使用'Ixml'
# 使用的编码格式
soup = BeautifulSoup(html_doc, 'html.parser', from_encoding='utf-8')


print('----获取所有的a标签----')
links_nodes = soup.find_all('a')
for link in links_nodes:
    print(link.name, link['href'], link.get_text())  # name表示标签名 get_text()表示内部文字


print('----获取lacie的a标签----')
link_node = soup.find('a', href="http://example.com/lacie")
print(link_node.name, link_node['href'], link_node.get_text())


print('----使用正则获取a标签href中包含"ill"的----')
link_spec = soup.find('a', href=re.compile(r'ill'))
print(link_spec.name, link_spec['href'], link_spec.get_text())


print('----获取class为title的p元素----')
p_nodes = soup.find_all('p', class_='title')  # 因为class是关键词，所以这里使用'class_'
# 还可以使用dict的形式
# p_nodes = soup.find_all('p', {'class': 'title'})
for p in p_nodes:
    print(p.name, p.get_text())