1.爬虫结构
从爬虫的结构上来看，追简单的爬虫包括任务队列、页面下载和页面解析三个部分。
import Queue
init_url = 'xxxx' #初始化页面
queue = Queue.Queue() #任务队列
fetch_urls = set() #已访问页面集合
queue.put(init_url)
fetch_urls.add(init_url)
while True:
if queue.size()>0:
url = queue.get()
html = download(url)
data = parse(html)
urls = data['urls']
for url in urls:
if url not in fetch_urls:
fetch_urls.add(url)
queue.put(url)
else:
break
上面代码实现了一个简单的爬虫，虽然是伪代码，但稍作修改就可以运行。
2.糗事百科
（1）页面分析
每一个爬虫都需要先分析一下页面结构，这样才能使用程序正确的获取相关的内容。
糗事百科首页（图1）
首页中在“热门”标签下，每页列出了20个内容，在页面底部有分页区域。
页面内容分析（图2）
F12打开开发者工具，每个内容由一个div包括。查找class属性为"article block untagged mb15"，就可以获取当前页面所有的内容标签。对每一个内容，继续查找用户名以及用户链接，文本内容，还有点赞数量和评论数量。
分页部分分析（图3）
上图是分页部分的代码，从中可以提取到相关的url地址。
（2）页面分析代码
- 查找所有的article
soup = BeautifulSoup(html,'html5lib')
articles = soup.find_all("div",attrs={"class":"article block untagged mb15"})
- 获取单个article中的用户信息
for article in articles:
#获取用户信息
author = article.find('div',attrs={'class':'author'})
author_as = article.find_all('a')
#这里我们会找到两个a标签，第一个标签是头像照片，第二个标签是用户名和用户链接，这里需要的是后者。
user = author_as[1]
userlink = user['href']
username = user['title']
#这里再展示一下别的方法，我们可以观察到每个article中只有一个h2标签
#h2的父标签就是上面的author_as[1]
h2 = article.find('h2')
h2p = h2.parent#这样就可以参照上面的代码查找用户名和用户链接
- 获取内容文本
content = article.find('div',attrs={'class':'content'}).find('span').text
#这里用了一句代码就获取了内容文本，实际上它执行了三条语句
#第一步就是获取class属性为‘content’的div标签，第二步是找到
#它下属的span标签，获取文本采用的是text方法。这里要注意获取文本内容也可以使用string方法，
#但是如果文本中有其它html标签就会获取失败。
- 获取点赞信息
#点赞信息和评论量在class='stats'的div标签下
#如果直接从上到下查找未免显得过于繁琐，可以直接查找i标签
#在查到标签的过程中要尽量采用最简便的方法
i_list = article.find('i')
votenum = i_list[0].string
commentnum = i_list[1].string
- 查找url
url的查找是一个非常重要的内容，否则爬虫就没法继续运行下去了。在页面中出现的链接往往都是相对链接，这时候要拼装成绝对链接。还有对一些链接进行过滤，这里又涉及到正则表达式的内容。正则表达式在分析文本中非常重要，以后也会介绍相关的内容。
#这里只需要查找所有的a标签
alist = soup.find('a')
for a in alist:
href = 'http://www.qiushibaike/'+a['href']
这个例子的目的是查找所有的段子，实际上很多段子很长需要点到详细页才能看全，但是我们只需要截取一部分即可。还有就是，我们也不需要抓取用户页面信息。那么就需要过滤掉这些页面，这里采用正则表达式。
import re#这句应该放在最前面
pattern = re.compile(r'^/')
article_pattern = re.compile(r'^/(article|user)')
#这里有两个模式（pattern），第一个我们只想爬取以"/"开头的链接，
#这个链接代表相对于网站根目录的地址。
#第二个模式，就是要排除以"/article"和"/user"开头的地址
urls = []
for a in alist:
url = a['href']
if pattern.match(url) and not article_pattern.match(url) :
urls.append('http://www.qiushibaike.com'+url)
上面的代码组装一下就是parse函数的代码，返回的数据包括糗事的信息以及要继续爬取的url。
（3）页面下载
页面下载是很简单的，是用requests是最方便的。当然也有用urllib2，一开始我也用这个，但是这个有些复杂而且有时候也不稳定。这里要注意的就是requests编码问题。
def download(url):
response = requests.get(url)
return response.text
上面的代码很简单，这里没有考虑到出错问题，在实际使用中肯定要考虑这个。
网友评论