美文网首页
Python学习笔记4——爬取异步加载数据

Python学习笔记4——爬取异步加载数据

作者: 装满水的空瓶 | 来源:发表于2017-11-29 23:20 被阅读47次

    一.什么是异步加载?

    在之前的学习笔记中,爬取的网页是需要手动翻页的网址,但是一些网站是通过自动加载翻页的,如knewone网页。浏览knewone的官网就能发现,当下拉到网页最下端时,网站会自动加载新的数据,这样的网站加载方法,称为异步加载。

    异步加载又称之为非阻塞模式,当向网页提出请求(request)时,其实网站只是返回了主要样式和部分数据,而持续加载的网页数据是由JS控制,这时新加载出的网页数据与之前的请求是没有关系的,因此称之为异步加载。

    二.如何抓取异步加载数据?

    以爬取knewone的数据为例,学习连续爬取异步加载网页的方法。

    分为以下步骤:

    1、观察网页

    右键点击网页 —— 点击检查打开监视器 —— 在打开的窗口中选择Network(Network中可查看动态加载数据)—— 选择XHR —— 下拉加载数据,记录数据信息

    通过观察可以发现,往下下拉加载的数据越多,动态加载就会陆续出现新的加载成功的页码。点击任意一个新加载的页码,可查询动态加载的数据。点击之后,在新弹出窗口的Headers中,便能找到网页的网址。例如下面的knewone.com网页,新加载的网页在后面添加了page=?的后缀。

    在Headers右侧的Response中,是网页的结构,包含了网页的链接、图片地址等相关信息。

    2、编写代码

    以爬取https://knewone.com/discover为例,爬取网站的图片链接、标题等数据。编写代码的过程如下:

    ①引入第三方库

    第一步同样是引入第三方库,引入BeautifulSoup和requests。

    from bs4 import BeautifulSoup #引入BeautifulSoup第三方库import requests #引入requests第三方库

    ②通过解析网页抓取数据。

    首现随意先抓取一个网页的信息,通过解析网页和数据抓取,确保能全部获得我们所需要的相关数据后,再连续抓取网页数据。解析网页和抓取数据的方法和Python学习笔记3 中的方法一样,这里就不再赘述。在编写的过程中,可以每写一步,就通过print()输出查看我们自己编写的程序是否正确,这个对于像我一样的新手来说,虽然麻烦了一点,但还是很有必要的。

    url = 'https://knewone.com/discover?page=2'wb_data = requests.get(url)#向网页发送请求

    soup = BeautifulSoup(wb_data.text,'lxml')#解析网页

    titles = soup.select('#wrapper > div > section > div > div.hits_group-things.clearfix > article > section > h4 > a')#抓取标题

    imgs = soup.select('#wrapper > div > section > div > div.hits_group-things.clearfix > article > header > a > img')#抓取图片

    links = soup.select('#wrapper > div > section > div > div.hits_group-things.clearfix > article > header > a')#抓取链接# 

    ③整理数据

    将抓取出的数据,通过for循环进行整理,装入data{}列表中,最终输出数据。

    for title,img,link in zip(titles,imgs,links):

         data = {

                 'title':title.get('title'),

                 'img':img.get('src'),

                 'link':link.get('href')

          }

          print(data)

    输出结果为:

    ④定义函数

    为了方便,我们可以将以上写的代码,通过def,定义一个新的函数,方便我们调取。最终函数如下:

    关于Python的函数:

    函数是组织好的,可重复使用的,用来实现单一或相关联功能的代码段。

    Python本身就提供了许多内建函数,比如print(),但也可以自己创建函数。定义一个函数可以定义一个由自己想要功能的函数

    函数代码块以 def 关键词开头,后接函数标识符名称和圆括号 ()。任何传入参数和自变量必须放在圆括号中间,圆括号之间可以用于定义参数。函数内容以冒号起始,并且缩进。return [表达式] 结束函数。

    图片引用自《编程小白的第一本 Python 入门书》

    def:即define,含义是创建函数

    function:即函数名,最好与函数本身的使用相联系

    arg:即argument,输入的参数

    return即返回结果

    以定义计算三角形面积为例:

    def  triangle_area(bottom,height):

           return bottom*height*1/2

    调用函数

    print(triangle_area(4,5))

    输出为10

    ⑤连续爬取异步加载网页

    利用学习笔记3.1 中的方法,通过for循环和format函数,找出异步加载的前9页网址链接。

    urls = [ 'https://knewone.com/discover?page={}'.format(str(i)) for i in range(1,10)]#找出异步加载前9页的网址链接

    for single_url in urls:#通过for循环将urls中的异步加载数据信息,放入single_url中                 get_info(single_url)#调取我们自己定义的get_info(url)函数

    最终会有源源不断的数据被爬取出来。

    完整的代码如下:

    总结:

    1.异步加载又称之为非阻塞模式,与常见的翻页网站略有不同,需进入网页监视器的network中查询加载的网址;

    2.爬取异步加载网页的步骤与之前爬取常见翻页网站的方法几乎相同,同样需要经过:引入第三方库、通过解析网页抓取数据、整理数据等步骤;

    3.可以通过定义函数,凸显出编程的层次感,并且方便将来调用;

    4.需要注意的坑:def定义时,之后的冒号必不可少,且之后的内容必须缩进。

    相关文章

      网友评论

          本文标题:Python学习笔记4——爬取异步加载数据

          本文链接:https://www.haomeiwen.com/subject/mpdybxtx.html