目标：爬取百度糗事百科段子，url 为http://www.qiushibaike.com/，爬取前20个网页中每个网页的每个段子的发布人、段子内容、点赞数、评论数，然后把内容保存在一个 BaiduQiushi.txt 文件中。

一、 分析网页结构

通过分析 url 可以发现规律，使用该规律来实现换页功能。
即：” http://www.qiushibaike.com/8hr/page/” + pagenum +”/?s=4966067”

然后查看页面源代码，辅助 chrome 审查元素元素功能快速定位所需内容位置。
可以发现，每个段子都是包括在div 标签内的。

发布人：

段子内容：

点赞数：

评论数：

二、 确定使用技术路线

这里获取内容的方式有很多种，可以使用 requests + re 。也可是使用 beautifulsoup。
不过感觉这个例子比较小，我就只使用了 requests 和 re 来实现。

三、 步骤

1． 实现换页功能，生成 url 列表 urls。
2． 遍历 urls 这个列表，解析每个页面的 html 源代码。
3． 对于每个 html，获得发布人模块，放置在 everyblock 列表中。
4． 遍历每个 everyblock 列表，提取每个段子的发布人、段子内容、点赞数、评论数

四、 代码

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time    : 2017/3/18 15:10
# @Author  : zxp
# @Site    : 
# @File    : zxp_CrowBaiduQiushi.py
# @Software: PyCharm Community Edition
import requests
import re
import sys
reload(sys)
sys.setdefaultencoding('utf8')

def getHTMLText(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        print url + '：获取失败！'

def getEveryBlock(html):
    everyblock = re.findall('(<div class="article block untagged mb15".*?<div class="single-clear"></div>)', html, re.S)
    return everyblock

def getInfo(block):
    info = {}
    info['author'] = re.search('<h2>(.*?)</h2>', block, re.S).group(1)
    info['content'] = re.search('<span>(.*?)</span>', block, re.S).group(1)
    likeandcomment = re.findall('<i class="number">(.*?)</i>', block, re.S)
    info['like'] = likeandcomment[0]
    if len(likeandcomment) == 1:
        info['comment'] = '0'
    else:
        info['comment'] = likeandcomment[1]
    return info

def saveAllInfo(all_info):
    f = open('BaiduQiushi.txt', 'a')
    for each in all_info:
        f.writelines('author:' + each['author'] + '\n')
        f.writelines('content:' + each['content'] + '\n')
        f.writelines('like:' + each['like'] + '\n')
        f.writelines('comment:' + each['comment'] + '\n\n')
    f.close()

def main():
    urls = []
    all_info = []
    pagenum = 20
    for i in xrange(1, pagenum + 1):
        url = 'http://www.qiushibaike.com/8hr/page/' + str(i) + '/?s=4966067'
        urls.append(url)
    for url in urls:
        html = getHTMLText(url)
        everyblock = getEveryBlock(html)
        for each in everyblock:
            info = getInfo(each)
            all_info.append(info)
    saveAllInfo(all_info)


if __name__ == '__main__':
    main()