爬虫作业3

课程作业

• 选择第二次课程作业中选中的网址
• 爬取该页面中的所有可以爬取的元素，至少要求爬取文章主体内容
• 可以尝试用lxml爬取

在完成这节课的过程中遇到许多问题：

1. 环境问题：电脑安装的是python 3.x，老师的demo使用python2.7，如何在anaconda中进行环境切换。
   在anaconda中切换py2和py3

conda create env_name list of packages
conda create -n py2 python=2.7 pandas
进入名为env_name的环境
source activate env_name
退出当前环境
source deactivate
在windows系统中，使用activate env_name 和 deactivate env_name进入和退出
删除名为env_name的环境
conda env romove -n env_name
显示所有环境
conda env list

2. 使用pip安装对应的模块：
   使用pip安装相关模块时，所有的模块都被安装到python3.x目录下面，网上查了很多资料，还是没有解决该问题，只好用一个很傻的方法，将python3.x卸载，只使用python2.7，这样使用pip安装模块时，所有模块会被安装到python2.7环境中。

3. jupyter notebook环境切换：
   创建python2.7环境
   conda create -n ipykernel_py2 python=2 ipykernel # 创建Python2环境
   source activate ipykernel_py2 # 进入该环境
   python -m ipykernel install --user # 使python2 kernel 在jupyter中新建notebook时显示

4. 阅读beautifulsoup4文档：

• BeautifulSoup模块：第一个参数应该是要被解析的文档字符串或是文件句柄,第二个参数用来标识怎样解析文档.要解析的文档类型: 目前支持, “html”, “xml”, 和 “html5”
• 从文档中找到所有<a>标签的链接:

for link in soup.find_all('a'):
    print link.get('href')

• find_all()与find()用法：
  • find_all( name , attrs , recursive , text , **kwargs )
    • name 参数，可以查找所有名字为 name 的tag,字符串对象会被自动忽略掉.
    • keyword 参数，如果一个指定名字的参数不是搜索内置的参数名,搜索时会把该参数当作指定名字tag的属性来搜索,如果包含一个名字为 id 的参数,Beautiful Soup会搜索每个tag的”id”属性.
    • text 参数，通过 text 参数可以搜搜文档中的字符串内容.与 name 参数的可选值一样, text 参数接受 字符串 , 正则表达式 , 列表, True
    • recursive 参数，调用tag的 find_all() 方法时,Beautiful Soup会检索当前tag的所有子孙节点,如果只想搜索tag的直接子节点,可以使用参数 recursive=False
  • find( name , attrs , recursive , text , **kwargs )
  • 区别：find_all() 方法的返回结果是值包含一个元素的列表,而find()方法直接返回结果；find_all() 方法没有找到目标是返回空列表, find() 方法找不到目标时,返回 None。

作业

导入库

import os          ## os模块包含普遍的操作系统功能
import time        ## time时间模块
import urllib2     ## 可用于页面下载，身份验证，提交表格等，支持非http协议
import urlparse    ##                
from bs4 import BeautifulSoup ## 解析网页，提供定位内容的便捷接口

下载指定页面的html函数download

def download(url, retry=2):
    """
    下载页面的函数，会下载完整的页面信息
    :param url: 要下载的url
    :param retry: 重试次数
    :reutrn: 原生html
    """
    print "downloading:",url
    # 设置header信息，模拟浏览器请求
    header = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.98 Safari/537.36'
    }
    try: #爬去可能会失败，采用try-expect方式来捕获处理
        request = urllib2.Request(url, headers = header)
        html = urllib2.urlopen(request).read() #抓取url
   # except urllib.error.URLError as e: #异常处理
    except urllib2.URLError as e:
        print "download error:", e.reason
        html = None
        if retry > 0: #未超过重试次数，可以继续爬取
            if hasattr(e, 'code') and 500 <= e.code <600: #错误码范围，是请求出错才继续重试爬取
                print e.code
                return download(url, retry - 1)
    time.sleep(1)  #等待1s，避免对服务器造成压力，也避免被服务器屏蔽爬取              
    return html

下载指定页面的内容，并将其存入.txt

def crawled_page(crawled_url):
    """
    爬取文章内容
    param crawled_url: 需要爬取的页面地址集合
    """
    html = download(crawled_url)
    soup = BeautifulSoup(html, "html.parser")
    title = soup.find('h1', {'class': 'title'}).text #获取文章标题
    content = soup.find('div', {'class': 'show-content'}).text #获取文章内容

    if os.path.exists('spider_res/') == False: #检查保存文件的地址
        os.mkdir('spider_res')

    file_name = 'spider_res/' + title + '.txt' #设置要保存的文件名
    file = open(file_name, 'wb') #写文件
    content = unicode(content).encode('utf-8', errors='ignore')
    file.write(content)
    file.close()

调用函数

url = "http://www.jianshu.com/p/4a8749704ebf"
download(url)
crawled_page(url)

结果

image.png image.png

参考:

1. 如何同时在 Anaconda 同时配置 python 2和3
2. Beautiful Soup 4.2.0 文档