美文网首页
11.selenium应对懒加载

11.selenium应对懒加载

作者: starrymusic | 来源:发表于2019-04-01 16:15 被阅读0次

selenium可以操控浏览器来访问网页,但一些网站对此的反爬策略是使用网页懒加载,有的是图片懒加载,有的是网站信息懒加载。像百度图片,微博,开源中国等网站。
对于一般网站,使用代码直接滑动到窗口底部,就会有信息源源不断的加载下来,代码如下:

from selenium import webdriver
import time
driver = webdriver.Chrome()
driver.get("https://cuiqingcai.com/")
time.sleep(3)
for i in range(4):
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight); var lenOfPage=document.body.scrollHeight; return lenOfPage;")
    time.sleep(3)
driver.close()

但有的网站必须有短暂时间的缓冲,直接跳转到底部就不会再有信息加载下来了。像这位大神的网站(https://cuiqingcai.com/
这时就需要让滚动条向上滚动一下,然后再向下滚动。代码如下,这个可以应对绝大多数懒加载。

# coding:utf-8
from selenium import webdriver
import time
driver = webdriver.Chrome()
driver.get("https://cuiqingcai.com/")
time.sleep(3)
# 创建一个列表,用于记录每一次拖动滚动条后页面的最大高度
All_Window_Height = []
# 当前页面的最大高度加入列表
All_Window_Height.append(driver.execute_script("return document.body.scrollHeight;"))
while True:
    # 执行拖动滚动条操作
    driver.execute_script("scroll(0,100000)")
    time.sleep(3)
    #获得窗口一半的高度
    halfheight = int(All_Window_Height[-1])/2
    print("一半的高度是{0}".format(halfheight))
    driver.execute_script("scroll(0,{0})".format(halfheight))
    time.sleep(3)
    driver.execute_script("scroll(0,100000)")
    time.sleep(3)
    check_height = driver.execute_script("return document.body.scrollHeight;")
    # 判断拖动滚动条后的最大高度与上一次的最大高度的大小,相等表明到了最底部
    print(check_height)
    if check_height == All_Window_Height[-1]:
        break
    else:
        # 如果不想等,将当前页面最大高度加入列表。
        All_Window_Height.append(check_height)
print(len(All_Window_Height))
driver.close()

相关文章

  • 11.selenium应对懒加载

    selenium可以操控浏览器来访问网页,但一些网站对此的反爬策略是使用网页懒加载,有的是图片懒加载,有的是网站信...

  • iOS开发,懒加载

    什么是懒加载? 懒加载--比较懒的加载方式,需要的时候才加载,也称为延时加载。 所谓懒加载既是重写get方法,一定...

  • iOS开发UI篇-懒加载、重写setter方法赋值

    一、懒加载 1.懒加载定义 懒加载——也称为延迟加载,即在需要的时候才加载(效率低,占用内存小)。所谓懒加载,写的...

  • Fragment结合ViewPager之懒加载

    什么是懒加载?为什么要用懒加载?### 1、什么是懒加载 懒加载就是当ViewPager和Fragment结合在一...

  • iOS懒加载注意事项

    懒加载 1.懒加载 懒加载——也称为延迟加载,即在需要的时候才加载(效率低,占用内存小)。所谓懒加载,写的是其ge...

  • web优化之懒加载和预加载

    懒加载和预加载是常用的web优化的手段。所以我们首先应该明白什么是懒加载和预加载。懒加载:懒加载也加延迟加载,延迟...

  • fragment 懒加载

    fragment 的懒加载 懒加载 什么是懒加载:只有在 fragment 显示在界面的时候,才进行数据的加载 懒...

  • 懒加载和预加载

    懒加载和预加载 1. 懒加载 1. 什么是懒加载? 懒加载也就是延迟加载 当访问一个页面的时候,先把img元素或是...

  • Android 懒加载优化

    目录介绍 1.什么是懒加载1.1 什么是预加载1.2 懒加载介绍1.3 懒加载概括 2.实际应用中有哪些懒加载案例...

  • Swift语法点

    1 懒加载 懒加载与OC中的懒加载的区别:懒加载的类一旦 设置为nil 后, 懒加载就不会再次执行,与OC中不同,...

网友评论

      本文标题:11.selenium应对懒加载

      本文链接:https://www.haomeiwen.com/subject/sxwvbqtx.html