在知乎上看过很多爬虫相关，一直没有动手，现在开始get my hand dirty.
本篇在学习知乎大神xzld的Web crawler with Python - 03.豆瓣电影TOP250基础上，简单爬取了糗百上的笑话。

结果.png

任务目标

利用python爬取糗事百科上的笑话。

任务理解

在做任何爬虫之前，我们首先需要了解一下想要爬取的对象

• 打开：用火狐浏览器打开糗事百科,打开开发者工具(F12)
• 查看 ：选中任意一条笑话，鼠标右键后点击查看，我们就可以看到该条笑话在HTML中位于的位置
• 观察 ：仔细观察其标签，因为之后我们将根据其标签来定位。

通过观察我们发现，笑话内容位于<div class=content>的<span>标签下。
那么我们的任务即转变为：
在糗事百科的HTML中找到<.div class=content>的<span>标签的文本内容。

源代码截图.png

因此，我们将任务即可分为三部分：

• 下载：将糗事百科页面的HTML内容下载下来，这部分我们将使用requests包
• 解析：根据标签查找到文本内容并存储，这部分使用BeautifulSoup包。
• 输出：将文本内容格式化输出，这部分我们将使用codecs包。

任务进行

环境准备

import warnings 
warnings.filterwarnings('ignore')

import requests
from bs4 import BeautifulSoup
import codecs

引入requests，BeautifulSoup，codecs及warnings包。warnings包主要用来忽略编码过程中的警告提示，我常喜欢把它写在编码前

下载页面

我们使用requests中的get方法来获取页面，

URL="https://www.qiushibaike.com/"
header={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:54.0) Gecko/20100101 Firefox/54.0'}
html=requests.get(URL,headers=header).content

简单介绍代码内容

1. 第一行代码指定网页
2. 第二行代码指定请求头User-Agent（表示浏览器类型），用来将爬虫伪装成浏览器。
3. 第三行利用requests.get（）.content 获取指定网页源代码。

注意reuqests.get(URL,headers=header)中headers不能省略

网页源代码.png

一般，浏览器在向服务器发送请求的时候，会有一个请求头——User-Agent，它用来标识浏览器的类型.当我们使用requests来发送请求的时候，默认的User-Agent是python-requests/2.8.1（后面的数字可能不同，表示版本号）,通常我们需要要将User-Agent伪装成浏览器的，来解决某些网页反爬虫的问题。这是一种简单的反爬虫机制

解析页面

通过上部我们的得到网页源代码，但是看起来非常的乱，毫无头绪，就像一锅东北乱炖。然后通过BeautifulSoup，包如其名，总能把乱糟糟的菜熬成很漂亮的一锅汤，让你很方便的找到需要的内容。

• 熬汤：通过BeautifulSoup命令间html内容转换为beautifulsoup格式

soup=BeautifulSoup(html)

soup.png

如上图，BeautifulSoup将源代码很好的处理为了标签加内容的格式，非常利于我们来查找内容。

• 找菜：汤熬好，就可以根据我们给出的标签来找菜了

    joks=soup.find_all('div',attrs={'class':'content'})
    jok_list=[]
    for joks in jokss:
        jok=joks.find('span').getText()
        jok_list.append(jok)

1. 第一行利用find_all找到所有标签为<div class=content>内容
   图片.png
2. 第二行创建一个空列表jok_list，用来存储之后找到的笑话
3. 第三行建立一个循环，利用find依次查找每一个<div class=content>中的<span>标签并获取其中的文本内容，利用append函数存储到jok_list中

• 加菜：当然我们注意到，糗百涉及到翻页。我们还需要解决翻页的问题，这个问题最简单的方法就是找到下一页的链接，再重复之前的步骤即可。

next_page=soup.find('ul',{'class':'pagination'}).find_all('a')[-1]['href']
next_page=URL[:-1]+next_page

next_page.png

点击下一页，查看元素。我们发现下一页的链接再<ul,class=pagination>的最后一个标签<'a'>下。因为使用find只能返回匹配的第一个对象，因此这里我们使用find_all找到所有匹配对象的列表。再通过soup.find('ul',{'class':'pagination'}).find_all('a')[-1]定位到最后一个对象，即包含下一页信息的对象.

注意
以第一页为例得到的结果为* '/8hr/page/2/' ,需要与 URL='https://www.qiushibaike.com/'拼接。但是如果直接连在一起得到结果为
'https://www.qiushibaike.com//8hr/page/2’多了一条‘/’因此，使用URL[-1]+next_page才能得到正确的链接。 'https://www.qiushibaike.com/8hr/page/2’ *

存储

 codecs.open('joks','wb',encoding='utf-8') as fp:
 fp.write(u'{jok_list}\n'.format(jok_list='\n'.join(jok_llist)))

任务总结

import requests
from bs4 import BeautifulSoup
import warnings 
import codecs
warnings.filterwarnings('ignore')

def download_page(url):
    header={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:54.0) Gecko/20100101 Firefox/54.0'}
    html=requests.get(URL,headers=header).content
    return html

def parsel_html(html):
    soup=BeautifulSoup(html)
    joks=soup.find_all('div',{'class':'content'})
    jok_list=[]
    for joks in jokss:
        jok=joks.find('span').getText()
        jok_list.append(jok)
    next_page=soup.find('ul',{'class':'pagination'}).find_all('a')[-1]['href']
    if next_page:
        return jok_list,URL[:-1]+next_page
    return jok_list,None
def main():
    URL="https://www.qiushibaike.com/"
    with codecs.open('joks','wb',encoding='utf-8') as fp:
        while URL:
            HTML=download_page(URL)
            JOK,URL=parsel_html(HTML)
            fp.write(u'{JOK}\n'.format(JOK='\n'.join(JOK)))
                               
if __name__ == '__main__':
    main()