Python2.7 Demos: 抓取百度百科

该demo以“百度百科”为关键字，抓取百科第一页搜索结果内容及其百科内容，并保存html 和 text 文件。

** 准备工作

打开[百度百科](http://baike.baidu.com title='baike'), 输入关键字“百度百科”，点击“搜索词条”按钮，在地址栏可找到搜索url: http://baike.baidu.com/search?word=百度百科&pn=0&rn=0&enc=utf8。由于关键字含有中文，有的word参数可能会进行url编码，后面我们会对此进行url解码。

打开开发者工具，查看源文件, 在97行可以找到如下源码，
<a class="result-title" href="http://baike.baidu.com/view/1.htm" target="_blank"><em>百度</em><em>百科</em>_百度百科</a>
其中href后面的地址就是对应词条的url。<a>标签之间的就是搜索到的词条，当然我们要把没用的html标签给replace掉。

** 正式开始

1. 新建文件

在工作目录下创建baike/baike.py文件

2. 文件编码

从搜索词条的url中enc参数可知，我们请求的文件编码格式为“utf8”, 所以我们文件格式也指定为“utf8”.
参考 Defining Python Source Code Encodings

3. 定义变量

keyword：关键字
searchUrl: 搜索的url地址
quote(): url编码，需要导入urllib2库

4. 抓取源文件

使用urllib2库抓取源文件

5. 保存html文件

如果目录不存在，首先创建目录。
为了解决中文乱码问题，我们使用codecs库创建一个utf8格式的文件，把html内容写入文件时，也使用utf8编码，这样就不会乱码了（中文乱码搞了好久）。
open(), write(), close() 三步完活。
最后一个参数mode默认指定文件写的权限('w'), 后面还会使用追加('a')模式。

6. 解析html

我们使用正则(re)模块解析下载下来的html。找到搜索到的关键词的title, url, summary，写入文件。
trimHtml() 去除提取到内容中的嵌套标签。这个函数有个缺陷就是只能处理单行，如果标签跨越多行，就无法处理。

7. 主要逻辑

主要流程：查找url -> 抓取源文件 -> 保存html文件 -> 按行解析html -> 保存txt文件 -> 抓取搜索到的关键词源文件 -> 保存html文件 -> 解析html -> 保存txt文件

8. 源码

#! /usr/bin/python
# -*- coding: utf8 -*-
import urllib2
import re
import os
import codecs 
def fetchSourceCode(url):
        response = urllib2.urlopen(url)
        return response.read()
def saveFile(path, filename, content, mode='w'):
        path = path.decode('utf8')
        filename = filename.decode('utf8')

        if not os.path.exists(path):
                os.makedirs(path)
        fd = codecs.open(path + "/" + filename, mode, 'utf8')
        fd.write(content.decode('utf8'))
        fd.close()
def matchResultTitle(line):
        match = re.match(r'.*?<a class="result-title" href="(.*?)" target="_blank">(.*?百度百科.*?)</a>.*', line)
        if match:
                return match.group(1), trimHtml(match.group(2))
        return None, None
def matchSummary(line):
        match = re.match(r'.*?<p class="result-summary">(.*?)</p>.*', line)
        if match:
                return trimHtml(match.group(1))
        return None
def findBodyContent(html):
        results = re.findall(r'<dd class="lemmaWgt-lemmaTitle-title">(.*?)</body>', html, re.S)
        if len(results) > 0:
                return trimHtml(results[0])
        return None
def trimHtml(text):
        return re.sub(r'<.*?>', '', text)
keyword = '百度百科'
searchUrl = 'http://baike.baidu.com/search?word=' + urllib2.quote('百度百科') + '&pn=0&rn=0&enc=utf8'
html = fetchSourceCode(searchUrl)
saveFile('baike', keyword + '.html', html)
saveFile('baike', keyword + '.txt', '')
lines = html.split('\n')
for line in lines:
        url, title = matchResultTitle(line)
        if url:
                saveFile('baike', keyword + '.txt', title + '\n' + url + '\n\n', mode='a')
                summary = matchSummary(line)
                if summary:
                        saveFile('baike', keyword + '.txt', summary + '\n\n', mode='a')
                # save sub html
                subHtml = fetchSourceCode(url)
                saveFile('baike/' + keyword, title + '.html', subHtml)
                bodyContent = findBodyContent(subHtml)
                saveFile('baike/' + keyword, title + '.txt', bodyContent)